Trải nghiệm khi dùng BitNet (bitnet.cpp)
Bạn không tải một ứng dụng để bấm đúp. Thay vào đó bạn lấy mã nguồn về, cài Python, CMake và trình biên dịch clang, rồi chạy một script để dựng bộ máy và tải mô hình. Trên Windows README yêu cầu cài Visual Studio 2022 với các thành phần C++ và luôn dùng cửa sổ Developer PowerShell của nó. Người chưa quen dòng lệnh sẽ thấy khá nhiều bước.
Sau khi build xong, bạn chạy một lệnh Python để mở chế độ trò chuyện trong Terminal (cửa sổ gõ lệnh). Mô hình mẫu chính thức là BitNet-b1.58-2B-4T với khoảng 2,4 tỷ tham số, nên câu trả lời đơn giản, phù hợp thử nghiệm và học hỏi hơn là thay thế ChatGPT.
Điều đáng xem là cách tiếp cận: README nói bitnet.cpp tăng tốc khoảng 1,37 đến 5,07 lần trên CPU ARM và 2,37 đến 6,17 lần trên CPU x86 so với chạy mô hình dạng thường, đồng thời giảm điện năng tiêu thụ. Đây là số liệu do Microsoft công bố, còn máy bạn nhanh đến đâu thì phải tự đo.
Tính năng nổi bật
Chạy mô hình 1-bit ngay trên CPU
Tối ưu riêng cho mô hình có trọng số 1,58 bit, nên máy không có card đồ hoạ rời vẫn chạy được mô hình cỡ vài tỷ tham số.
Tiết kiệm điện và bộ nhớ
README ghi mức giảm năng lượng tiêu thụ khoảng 55 đến 82 phần trăm tuỳ CPU và mô hình, rất hợp thiết bị nhỏ hoặc chạy lâu dài.
Chế độ trò chuyện sẵn có
Chỉ cần thêm cờ -cnv là chuyển sang hội thoại, câu lệnh đầu vào được dùng làm lời dặn hệ thống.
Có mô hình chính thức và mô hình cộng đồng
Hỗ trợ BitNet-b1.58-2B-4T của Microsoft, hai mô hình embedding 1-bit, và một số mô hình cộng đồng như Falcon3, Falcon-E, Llama3-8B-1.58.
Có kernel GPU và công cụ đo hiệu năng
Repo kèm kernel suy luận GPU chính thức và script benchmark để bạn tự đo tốc độ trên máy mình.
Tận dụng BitNet (bitnet.cpp) vào việc gì?
Người thích khám phá AI
Thử AI offline trên máy cấu hình thấp
Chạy mô hình nhỏ ngay trên laptop không có card đồ hoạ để xem AI 1-bit phản hồi ra sao.
Sinh viên, kỹ sư AI
Đo hiệu năng và học về lượng tử hoá
Dùng script benchmark và đọc các bài báo liên kết để hiểu vì sao trọng số ba giá trị lại nhanh và tiết kiệm.
Lập trình viên làm tìm kiếm nội bộ
Tạo vector tìm kiếm nhẹ
Hai mô hình embedding BitNet 0,6B và 270M dùng để chuyển văn bản thành vector, hợp ứng dụng tìm tài liệu chạy trên CPU.
Đội phát triển sản phẩm nhúng
Nguyên mẫu cho thiết bị biên
Đánh giá khả năng chạy mô hình ngôn ngữ trên CPU ARM hoặc x86 công suất thấp trước khi chọn phần cứng.
Cần chuẩn bị gì?
- Python 3.10 trở lên, CMake 3.22 trở lên, clang 18 trở lên; README khuyên dùng conda.
- Windows: cài Visual Studio 2022 với các mục C++ Desktop, CMake Tools, Git, trình biên dịch Clang và MSBuild cho LLVM, rồi luôn dùng Developer Command Prompt hoặc PowerShell của VS2022.
- CPU x86 hoặc ARM; mô hình nhỏ như BitNet-b1.58-2B-4T cần dung lượng ổ cứng và RAM ở mức vài GB (README không nêu con số cụ thể).
- Cần Internet để tải mô hình từ Hugging Face.
Hướng dẫn cài đặt chi tiết
Cài trên Build từ mã nguồn
Lấy mã nguồn kèm các thư mục con. Trên Windows hãy mở Developer PowerShell for VS2022 trước khi gõ các lệnh trong mục này.
git clone --recursive https://github.com/microsoft/BitNet.git cd BitNetTạo môi trường conda riêng cho dự án rồi cài thư viện Python.
conda create -n bitnet-cpp python=3.10 conda activate bitnet-cpp pip install -r requirements.txtTải mô hình chính thức dạng GGUF về thư mục models.
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4TChạy script chuẩn bị môi trường. Lệnh này biên dịch bộ máy và chuẩn bị mô hình với kiểu lượng tử i2_s; có thể mất một lúc.
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
Cài trên Thử không cần cài
Muốn chỉ xem mô hình trả lời ra sao, README có liên kết bản demo online do Microsoft đặt trên Azure. Hãy mở link demo ở phần đầu trang GitHub của repo.
https://github.com/microsoft/BitNetMô hình đã biên dịch sẵn dạng GGUF cũng có trên Hugging Face trong bộ sưu tập của Microsoft nếu bạn muốn tìm hiểu thêm.
https://huggingface.co/collections/microsoft/bitnet
Dùng thử lần đầu
Sau khi script setup_env.py chạy xong, bắt đầu chế độ trò chuyện. Phần -p là lời dặn hệ thống, cờ -cnv bật chế độ hội thoại.
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnvKhi hiện dấu nhắc, hãy gõ thử một câu hỏi ngắn bằng tiếng Anh, sau đó thử tiếng Việt để tự đánh giá chất lượng với mô hình nhỏ.
Chạy script đo hiệu năng để xem tốc độ thực tế trên CPU của bạn (đổi số luồng -t cho hợp máy).
python utils/e2e_benchmark.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -n 200 -p 256 -t 4Nếu bạn gặp lỗi khi build trên Windows, xem mục FAQ cuối README của repo, nơi có các lỗi thường gặp.
Mẹo dùng hay
- Luôn kích hoạt đúng môi trường conda trước khi chạy lệnh Python, nếu không sẽ báo thiếu thư viện.
- Tăng giảm tham số số luồng -t cho hợp số nhân CPU của bạn để thử hiệu năng khác nhau.
- Có thể đổi sang mô hình khác trong danh sách hỗ trợ của README bằng cách dùng tuỳ chọn --hf-repo của setup_env.py thay vì tải tay.
- Dùng ngữ cảnh ngắn (cờ -c) khi máy ít RAM để giảm bộ nhớ.
Lưu ý và hạn chế
- Không phải ứng dụng bấm đúp: bạn phải cài trình biên dịch và build, nên dễ gặp lỗi môi trường nhất là trên Windows.
- Mô hình chính thức chỉ khoảng 2,4 tỷ tham số, chất lượng trả lời và tiếng Việt thua xa các mô hình lớn; README cũng nói các mô hình dùng để minh hoạ khả năng suy luận.
- Các con số tăng tốc và tiết kiệm điện là của Microsoft đo trong điều kiện thử nghiệm của họ; máy bạn có thể khác.
Câu hỏi thường gặp
BitNet có thay được ChatGPT không?
Không. Đây là hạ tầng để chạy mô hình 1-bit nhỏ, hợp thử nghiệm và nghiên cứu. Với trò chuyện hằng ngày chất lượng cao, bạn nên dùng mô hình lớn hơn.
Máy không có card đồ hoạ có chạy được không?
Có, đó là mục tiêu chính của dự án: chạy trên CPU x86 hoặc ARM. Ngoài ra repo cũng có kernel GPU nếu bạn muốn thử.
Có miễn phí và có cài sẵn trên Windows được không?
Miễn phí, giấy phép MIT. Hiện README chỉ hướng dẫn build từ mã nguồn, chưa có bản cài sẵn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/microsoft/BitNet.gitRepo tương tự nên xem
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
MLC LLM
mlc-ai / mlc-llm
Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt