Chuyển đến nội dung

kvcache-ai / ktransformers

KTransformers

Khung nghiên cứu chạy và tinh chỉnh mô hình AI cực lớn bằng cách chia việc giữa CPU và card đồ hoạ

KTransformers là dự án nghiên cứu nhằm chạy (inference) và tinh chỉnh (fine-tune) các mô hình ngôn ngữ rất lớn kiểu Mixture-of-Experts (MoE) bằng cách phối hợp CPU và GPU. Ý tưởng là phần nào nặng bộ nhớ thì để ở RAM hệ thống, phần cần tốc độ thì để ở card đồ hoạ, nhờ đó máy có ít VRAM vẫn thử được mô hình khổng lồ. Đây là công cụ cho người rành kỹ thuật chứ không phải ứng dụng bấm là chạy.

  • 19.676 sao
  • 1.603 fork
  • Python
  • Cập nhật 3 ngày trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Dòng lệnh (CLI)
Chạy trên
Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng KTransformers

KTransformers không có giao diện cho người dùng cuối. Bạn làm việc với nó qua Python và Terminal, thường kết hợp với SGLang để dựng máy chủ phục vụ mô hình. Phần lõi tên kt-kernel cài được bằng pip trên Linux, tự nhận diện CPU để chọn bộ kernel tối ưu như AMX hay AVX512 hay AVX2.

Giá trị lớn nhất nằm ở chỗ nó cho phép thử các mô hình MoE rất lớn như DeepSeek, Kimi, GLM trên máy không phải cụm GPU đắt đỏ. Các mô hình này có hàng trăm tỷ tham số nên cần rất nhiều RAM hệ thống. Ví dụ cũ trong changelog nhắc tới DeepSeek-R1 và V3 trên một card 24 GB VRAM kèm khoảng 382 GB RAM.

Ngoài chạy mô hình, dự án còn có hướng tinh chỉnh bằng LoRA kết hợp LlamaFactory cho mô hình MoE. Với đa số người dùng thông thường, đây là thứ để đọc cho biết và theo dõi, còn muốn chat với AI trên máy thì Ollama hoặc LM Studio sẽ phù hợp hơn.

Tính năng nổi bật

Chạy lai CPU và GPU

Các expert ít dùng đặt ở CPU, expert hay dùng đặt ở GPU, giúp mô hình lớn vừa với máy có ít VRAM.

Kernel tối ưu theo từng loại CPU

Gói tự nhận diện CPU và chọn phiên bản AMX, AVX512 hoặc AVX2 phù hợp, theo tài liệu kt-kernel.

Tích hợp với SGLang

kt-kernel có thể cắm vào SGLang để dựng máy chủ phục vụ mô hình với API quen thuộc.

Hỗ trợ nhiều mô hình MoE mới

Changelog liệt kê hàng loạt mô hình lớn được hỗ trợ từ ngày đầu như DeepSeek, Kimi, GLM, MiniMax kèm hướng dẫn riêng.

Tinh chỉnh MoE với LlamaFactory

Có cookbook hướng dẫn LoRA và tinh chỉnh toàn phần mô hình MoE, từ kiểm tra phần cứng đến xử lý lỗi.

Bộ công cụ KT-CLI

Dự án đang phát triển giao diện dòng lệnh để dùng đơn giản hơn; xem hướng dẫn KT-CLI trong tài liệu.

Tận dụng KTransformers vào việc gì?

Lập trình viên, nhóm nghiên cứu AI

Chạy mô hình MoE lớn trên workstation

Có một máy chủ nhiều RAM và một vài card đồ hoạ thì thử được mô hình rất lớn mà không cần cả cụm GPU.

IT, doanh nghiệp quan tâm bảo mật

Dựng máy chủ suy luận nội bộ cho công ty

Ghép kt-kernel với SGLang để phục vụ mô hình lớn ngay trong hạ tầng của công ty, dữ liệu không ra ngoài.

Kỹ sư học máy

Tinh chỉnh mô hình MoE bằng LoRA

Theo cookbook để huấn luyện thêm một mô hình lớn cho miền dữ liệu riêng như tư vấn pháp lý hay chăm sóc khách hàng.

Sinh viên sau đại học, nhà nghiên cứu

Nghiên cứu tối ưu suy luận

Đọc bài báo KT-FT và mã nguồn để hiểu cách phối hợp CPU-GPU cho mô hình MoE.

Cần chuẩn bị gì?

  • Linux x86-64, Python 3.10, 3.11 hoặc 3.12 nếu cài bằng gói dựng sẵn từ PyPI.
  • CPU hỗ trợ AVX2 trở lên; để nhanh hơn nên có AVX512 hoặc AMX (Intel Sapphire Rapids trở lên) theo tài liệu.
  • Tuỳ chọn GPU NVIDIA có compute capability 8.0 trở lên (dòng Ampere, Ada, Hopper). Dòng Turing như RTX 2080 và Volta không được hỗ trợ.
  • RAM hệ thống rất lớn để chứa trọng số các mô hình hàng trăm tỷ tham số; con số cụ thể xem trong hướng dẫn riêng của từng mô hình.

Hướng dẫn cài đặt chi tiết

Cài trên pip (Linux)

  1. Chuẩn bị Linux x86-64 và Python 3.10 đến 3.12. Nên tạo môi trường ảo riêng để tránh xung đột thư viện.

    Terminal
    python -m venv .venv
    source .venv/bin/activate
  2. Cài kt-kernel bản dựng sẵn từ PyPI. Gói tự nhận CPU để chọn kernel phù hợp và đã gồm hỗ trợ CUDA tĩnh, không cần cài riêng CUDA toolkit.

    Terminal
    pip install kt-kernel
  3. Kiểm tra nhanh xem gói đã nạp đúng biến thể CPU chưa.

    Terminal
    python -c "import kt_kernel; print(kt_kernel.__cpu_variant__, kt_kernel.__version__)"
  4. Muốn chạy mô hình cụ thể hoặc ghép SGLang, mở hướng dẫn riêng của mô hình trong thư mục doc của repo, vì mỗi mô hình có yêu cầu khác nhau.

Cài trên Từ mã nguồn

  1. Cần khi dùng CPU AMD với BLIS, CPU ARM với KML hoặc phiên bản CUDA đặc biệt. Clone repo và tải các submodule.

    Terminal
    git clone https://github.com/kvcache-ai/ktransformers.git
    cd ktransformers/kt-kernel
    git submodule update --init --recursive
  2. Tạo môi trường conda riêng theo tài liệu.

    Terminal
    conda create -n kt-kernel python=3.11 -y
    conda activate kt-kernel
  3. Chạy script cài đặt, script tự nhận CPU để tối ưu.

    Terminal
    ./install.sh

Dùng thử lần đầu

  1. Cài kt-kernel và chạy lệnh kiểm tra biến thể CPU để biết máy bạn được nhận là AMX, AVX512 hay AVX2.

  2. Đọc trang README của kt-kernel và chọn một hướng dẫn mô hình phù hợp với RAM hiện có, ví dụ hướng dẫn riêng cho DeepSeek, Kimi hoặc GLM trong thư mục doc.

  3. Làm theo mục tích hợp SGLang trong README kt-kernel để dựng máy chủ phục vụ mô hình, bắt đầu từ ví dụ nhỏ như Qwen3-30B-A3B mà tài liệu có nêu.

  4. Khi máy chủ chạy, gọi thử bằng API tương thích OpenAI từ ứng dụng của bạn và quan sát tốc độ để chỉnh số expert đặt trên GPU.

Mẹo dùng hay

  • Bắt đầu bằng mô hình MoE nhỏ trong ví dụ của tài liệu trước khi thử mô hình hàng trăm tỷ tham số.
  • Đọc kỹ bảng tương thích GPU. Card Turing trở về trước sẽ không dùng được phần tăng tốc CUDA.
  • Theo dõi mục Updates trong README để biết mô hình nào vừa được hỗ trợ và có hướng dẫn riêng.

Lưu ý và hạn chế

  • Đây là dự án nghiên cứu, cần phần cứng mạnh, nhiều RAM và kiến thức Linux, Python; không dành cho người chỉ muốn chat với AI.
  • Gói dựng sẵn chỉ dành cho Linux x86-64; người dùng Windows thường phải qua WSL hoặc theo hướng dẫn riêng trong tài liệu.
  • Các con số tốc độ trong README đo trên máy chủ rất mạnh, đừng kỳ vọng kết quả tương tự trên laptop.

Câu hỏi thường gặp

KTransformers có miễn phí không?

Có, mã nguồn mở theo giấy phép Apache 2.0. Chi phí thật nằm ở phần cứng nhiều RAM và GPU.

Laptop văn phòng chạy được không?

Gần như không phù hợp. Dự án nhắm tới mô hình MoE rất lớn cần nhiều RAM hệ thống. Laptop thông thường nên dùng Ollama với mô hình nhỏ.

Có chạy trên Windows không?

Gói PyPI của kt-kernel ghi rõ Linux x86-64. Lịch sử cập nhật có nhắc hỗ trợ Windows gốc từ rất lâu, nhưng hãy xem tài liệu mới nhất trước khi thử.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/kvcache-ai/ktransformers.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython
Chạy AI trên máy cá nhân26,7K

llamafile

mozilla-ai / llamafile

Gói cả mô hình AI và phần mềm chạy vào đúng một file, tải về là chạy, không cần cài đặt

VừaWindowsmacOSLinux
Chạy AI trên máy cá nhân25,3K

Google AI Edge Gallery

google-ai-edge / gallery

Ứng dụng của Google để chạy mô hình AI ngay trên điện thoại, hoàn toàn offline và riêng tư

DễAndroidiOSmacOS

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo