Trải nghiệm khi dùng KTransformers
KTransformers không có giao diện cho người dùng cuối. Bạn làm việc với nó qua Python và Terminal, thường kết hợp với SGLang để dựng máy chủ phục vụ mô hình. Phần lõi tên kt-kernel cài được bằng pip trên Linux, tự nhận diện CPU để chọn bộ kernel tối ưu như AMX hay AVX512 hay AVX2.
Giá trị lớn nhất nằm ở chỗ nó cho phép thử các mô hình MoE rất lớn như DeepSeek, Kimi, GLM trên máy không phải cụm GPU đắt đỏ. Các mô hình này có hàng trăm tỷ tham số nên cần rất nhiều RAM hệ thống. Ví dụ cũ trong changelog nhắc tới DeepSeek-R1 và V3 trên một card 24 GB VRAM kèm khoảng 382 GB RAM.
Ngoài chạy mô hình, dự án còn có hướng tinh chỉnh bằng LoRA kết hợp LlamaFactory cho mô hình MoE. Với đa số người dùng thông thường, đây là thứ để đọc cho biết và theo dõi, còn muốn chat với AI trên máy thì Ollama hoặc LM Studio sẽ phù hợp hơn.
Tính năng nổi bật
Chạy lai CPU và GPU
Các expert ít dùng đặt ở CPU, expert hay dùng đặt ở GPU, giúp mô hình lớn vừa với máy có ít VRAM.
Kernel tối ưu theo từng loại CPU
Gói tự nhận diện CPU và chọn phiên bản AMX, AVX512 hoặc AVX2 phù hợp, theo tài liệu kt-kernel.
Tích hợp với SGLang
kt-kernel có thể cắm vào SGLang để dựng máy chủ phục vụ mô hình với API quen thuộc.
Hỗ trợ nhiều mô hình MoE mới
Changelog liệt kê hàng loạt mô hình lớn được hỗ trợ từ ngày đầu như DeepSeek, Kimi, GLM, MiniMax kèm hướng dẫn riêng.
Tinh chỉnh MoE với LlamaFactory
Có cookbook hướng dẫn LoRA và tinh chỉnh toàn phần mô hình MoE, từ kiểm tra phần cứng đến xử lý lỗi.
Bộ công cụ KT-CLI
Dự án đang phát triển giao diện dòng lệnh để dùng đơn giản hơn; xem hướng dẫn KT-CLI trong tài liệu.
Tận dụng KTransformers vào việc gì?
Lập trình viên, nhóm nghiên cứu AI
Chạy mô hình MoE lớn trên workstation
Có một máy chủ nhiều RAM và một vài card đồ hoạ thì thử được mô hình rất lớn mà không cần cả cụm GPU.
IT, doanh nghiệp quan tâm bảo mật
Dựng máy chủ suy luận nội bộ cho công ty
Ghép kt-kernel với SGLang để phục vụ mô hình lớn ngay trong hạ tầng của công ty, dữ liệu không ra ngoài.
Kỹ sư học máy
Tinh chỉnh mô hình MoE bằng LoRA
Theo cookbook để huấn luyện thêm một mô hình lớn cho miền dữ liệu riêng như tư vấn pháp lý hay chăm sóc khách hàng.
Sinh viên sau đại học, nhà nghiên cứu
Nghiên cứu tối ưu suy luận
Đọc bài báo KT-FT và mã nguồn để hiểu cách phối hợp CPU-GPU cho mô hình MoE.
Cần chuẩn bị gì?
- Linux x86-64, Python 3.10, 3.11 hoặc 3.12 nếu cài bằng gói dựng sẵn từ PyPI.
- CPU hỗ trợ AVX2 trở lên; để nhanh hơn nên có AVX512 hoặc AMX (Intel Sapphire Rapids trở lên) theo tài liệu.
- Tuỳ chọn GPU NVIDIA có compute capability 8.0 trở lên (dòng Ampere, Ada, Hopper). Dòng Turing như RTX 2080 và Volta không được hỗ trợ.
- RAM hệ thống rất lớn để chứa trọng số các mô hình hàng trăm tỷ tham số; con số cụ thể xem trong hướng dẫn riêng của từng mô hình.
Hướng dẫn cài đặt chi tiết
Cài trên pip (Linux)
Chuẩn bị Linux x86-64 và Python 3.10 đến 3.12. Nên tạo môi trường ảo riêng để tránh xung đột thư viện.
python -m venv .venv source .venv/bin/activateCài kt-kernel bản dựng sẵn từ PyPI. Gói tự nhận CPU để chọn kernel phù hợp và đã gồm hỗ trợ CUDA tĩnh, không cần cài riêng CUDA toolkit.
pip install kt-kernelKiểm tra nhanh xem gói đã nạp đúng biến thể CPU chưa.
python -c "import kt_kernel; print(kt_kernel.__cpu_variant__, kt_kernel.__version__)"Muốn chạy mô hình cụ thể hoặc ghép SGLang, mở hướng dẫn riêng của mô hình trong thư mục doc của repo, vì mỗi mô hình có yêu cầu khác nhau.
Cài trên Từ mã nguồn
Cần khi dùng CPU AMD với BLIS, CPU ARM với KML hoặc phiên bản CUDA đặc biệt. Clone repo và tải các submodule.
git clone https://github.com/kvcache-ai/ktransformers.git cd ktransformers/kt-kernel git submodule update --init --recursiveTạo môi trường conda riêng theo tài liệu.
conda create -n kt-kernel python=3.11 -y conda activate kt-kernelChạy script cài đặt, script tự nhận CPU để tối ưu.
./install.sh
Dùng thử lần đầu
Cài kt-kernel và chạy lệnh kiểm tra biến thể CPU để biết máy bạn được nhận là AMX, AVX512 hay AVX2.
Đọc trang README của kt-kernel và chọn một hướng dẫn mô hình phù hợp với RAM hiện có, ví dụ hướng dẫn riêng cho DeepSeek, Kimi hoặc GLM trong thư mục doc.
Làm theo mục tích hợp SGLang trong README kt-kernel để dựng máy chủ phục vụ mô hình, bắt đầu từ ví dụ nhỏ như Qwen3-30B-A3B mà tài liệu có nêu.
Khi máy chủ chạy, gọi thử bằng API tương thích OpenAI từ ứng dụng của bạn và quan sát tốc độ để chỉnh số expert đặt trên GPU.
Mẹo dùng hay
- Bắt đầu bằng mô hình MoE nhỏ trong ví dụ của tài liệu trước khi thử mô hình hàng trăm tỷ tham số.
- Đọc kỹ bảng tương thích GPU. Card Turing trở về trước sẽ không dùng được phần tăng tốc CUDA.
- Theo dõi mục Updates trong README để biết mô hình nào vừa được hỗ trợ và có hướng dẫn riêng.
Lưu ý và hạn chế
- Đây là dự án nghiên cứu, cần phần cứng mạnh, nhiều RAM và kiến thức Linux, Python; không dành cho người chỉ muốn chat với AI.
- Gói dựng sẵn chỉ dành cho Linux x86-64; người dùng Windows thường phải qua WSL hoặc theo hướng dẫn riêng trong tài liệu.
- Các con số tốc độ trong README đo trên máy chủ rất mạnh, đừng kỳ vọng kết quả tương tự trên laptop.
Câu hỏi thường gặp
KTransformers có miễn phí không?
Có, mã nguồn mở theo giấy phép Apache 2.0. Chi phí thật nằm ở phần cứng nhiều RAM và GPU.
Laptop văn phòng chạy được không?
Gần như không phù hợp. Dự án nhắm tới mô hình MoE rất lớn cần nhiều RAM hệ thống. Laptop thông thường nên dùng Ollama với mô hình nhỏ.
Có chạy trên Windows không?
Gói PyPI của kt-kernel ghi rõ Linux x86-64. Lịch sử cập nhật có nhắc hỗ trợ Windows gốc từ rất lâu, nhưng hãy xem tài liệu mới nhất trước khi thử.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/kvcache-ai/ktransformers.gitRepo tương tự nên xem
SGLang
sgl-project / sglang
Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn
vLLM
vllm-project / vllm
Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac