Chuyển đến nội dung

microsoft / BitNet

BitNet (bitnet.cpp)

Bộ chạy mô hình AI 1-bit của Microsoft, giúp chạy mô hình ngôn ngữ nhỏ trên CPU thường mà vẫn nhanh

BitNet (tên đầy đủ bitnet.cpp) là framework suy luận chính thức của Microsoft cho các mô hình ngôn ngữ 1-bit (thực tế là 1,58 bit, trọng số chỉ có ba giá trị). Nhờ vậy mô hình nhỏ chạy gọn và tiết kiệm điện trên CPU, không cần card đồ hoạ. Đây là công cụ cho người thích thử nghiệm, cần build từ mã nguồn chứ chưa có bản cài một cú bấm.

  • 41.585 sao
  • 3.881 fork
  • C++
  • Cập nhật 3 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Dòng lệnh (CLI), Mô hình AI
Chạy trên
Windows, macOS, Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng BitNet (bitnet.cpp)

Bạn không tải một ứng dụng để bấm đúp. Thay vào đó bạn lấy mã nguồn về, cài Python, CMake và trình biên dịch clang, rồi chạy một script để dựng bộ máy và tải mô hình. Trên Windows README yêu cầu cài Visual Studio 2022 với các thành phần C++ và luôn dùng cửa sổ Developer PowerShell của nó. Người chưa quen dòng lệnh sẽ thấy khá nhiều bước.

Sau khi build xong, bạn chạy một lệnh Python để mở chế độ trò chuyện trong Terminal (cửa sổ gõ lệnh). Mô hình mẫu chính thức là BitNet-b1.58-2B-4T với khoảng 2,4 tỷ tham số, nên câu trả lời đơn giản, phù hợp thử nghiệm và học hỏi hơn là thay thế ChatGPT.

Điều đáng xem là cách tiếp cận: README nói bitnet.cpp tăng tốc khoảng 1,37 đến 5,07 lần trên CPU ARM và 2,37 đến 6,17 lần trên CPU x86 so với chạy mô hình dạng thường, đồng thời giảm điện năng tiêu thụ. Đây là số liệu do Microsoft công bố, còn máy bạn nhanh đến đâu thì phải tự đo.

Tính năng nổi bật

Chạy mô hình 1-bit ngay trên CPU

Tối ưu riêng cho mô hình có trọng số 1,58 bit, nên máy không có card đồ hoạ rời vẫn chạy được mô hình cỡ vài tỷ tham số.

Tiết kiệm điện và bộ nhớ

README ghi mức giảm năng lượng tiêu thụ khoảng 55 đến 82 phần trăm tuỳ CPU và mô hình, rất hợp thiết bị nhỏ hoặc chạy lâu dài.

Chế độ trò chuyện sẵn có

Chỉ cần thêm cờ -cnv là chuyển sang hội thoại, câu lệnh đầu vào được dùng làm lời dặn hệ thống.

Có mô hình chính thức và mô hình cộng đồng

Hỗ trợ BitNet-b1.58-2B-4T của Microsoft, hai mô hình embedding 1-bit, và một số mô hình cộng đồng như Falcon3, Falcon-E, Llama3-8B-1.58.

Có kernel GPU và công cụ đo hiệu năng

Repo kèm kernel suy luận GPU chính thức và script benchmark để bạn tự đo tốc độ trên máy mình.

Tận dụng BitNet (bitnet.cpp) vào việc gì?

Người thích khám phá AI

Thử AI offline trên máy cấu hình thấp

Chạy mô hình nhỏ ngay trên laptop không có card đồ hoạ để xem AI 1-bit phản hồi ra sao.

Sinh viên, kỹ sư AI

Đo hiệu năng và học về lượng tử hoá

Dùng script benchmark và đọc các bài báo liên kết để hiểu vì sao trọng số ba giá trị lại nhanh và tiết kiệm.

Lập trình viên làm tìm kiếm nội bộ

Tạo vector tìm kiếm nhẹ

Hai mô hình embedding BitNet 0,6B và 270M dùng để chuyển văn bản thành vector, hợp ứng dụng tìm tài liệu chạy trên CPU.

Đội phát triển sản phẩm nhúng

Nguyên mẫu cho thiết bị biên

Đánh giá khả năng chạy mô hình ngôn ngữ trên CPU ARM hoặc x86 công suất thấp trước khi chọn phần cứng.

Cần chuẩn bị gì?

  • Python 3.10 trở lên, CMake 3.22 trở lên, clang 18 trở lên; README khuyên dùng conda.
  • Windows: cài Visual Studio 2022 với các mục C++ Desktop, CMake Tools, Git, trình biên dịch Clang và MSBuild cho LLVM, rồi luôn dùng Developer Command Prompt hoặc PowerShell của VS2022.
  • CPU x86 hoặc ARM; mô hình nhỏ như BitNet-b1.58-2B-4T cần dung lượng ổ cứng và RAM ở mức vài GB (README không nêu con số cụ thể).
  • Cần Internet để tải mô hình từ Hugging Face.

Hướng dẫn cài đặt chi tiết

Cài trên Build từ mã nguồn

  1. Lấy mã nguồn kèm các thư mục con. Trên Windows hãy mở Developer PowerShell for VS2022 trước khi gõ các lệnh trong mục này.

    Terminal
    git clone --recursive https://github.com/microsoft/BitNet.git
    cd BitNet
  2. Tạo môi trường conda riêng cho dự án rồi cài thư viện Python.

    Terminal
    conda create -n bitnet-cpp python=3.10
    conda activate bitnet-cpp
    pip install -r requirements.txt
  3. Tải mô hình chính thức dạng GGUF về thư mục models.

    Terminal
    huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
  4. Chạy script chuẩn bị môi trường. Lệnh này biên dịch bộ máy và chuẩn bị mô hình với kiểu lượng tử i2_s; có thể mất một lúc.

    Terminal
    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

Cài trên Thử không cần cài

  1. Muốn chỉ xem mô hình trả lời ra sao, README có liên kết bản demo online do Microsoft đặt trên Azure. Hãy mở link demo ở phần đầu trang GitHub của repo.

    Văn bản
    https://github.com/microsoft/BitNet
  2. Mô hình đã biên dịch sẵn dạng GGUF cũng có trên Hugging Face trong bộ sưu tập của Microsoft nếu bạn muốn tìm hiểu thêm.

    Văn bản
    https://huggingface.co/collections/microsoft/bitnet

Dùng thử lần đầu

  1. Sau khi script setup_env.py chạy xong, bắt đầu chế độ trò chuyện. Phần -p là lời dặn hệ thống, cờ -cnv bật chế độ hội thoại.

    Terminal
    python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv
  2. Khi hiện dấu nhắc, hãy gõ thử một câu hỏi ngắn bằng tiếng Anh, sau đó thử tiếng Việt để tự đánh giá chất lượng với mô hình nhỏ.

  3. Chạy script đo hiệu năng để xem tốc độ thực tế trên CPU của bạn (đổi số luồng -t cho hợp máy).

    Terminal
    python utils/e2e_benchmark.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -n 200 -p 256 -t 4
  4. Nếu bạn gặp lỗi khi build trên Windows, xem mục FAQ cuối README của repo, nơi có các lỗi thường gặp.

Mẹo dùng hay

  • Luôn kích hoạt đúng môi trường conda trước khi chạy lệnh Python, nếu không sẽ báo thiếu thư viện.
  • Tăng giảm tham số số luồng -t cho hợp số nhân CPU của bạn để thử hiệu năng khác nhau.
  • Có thể đổi sang mô hình khác trong danh sách hỗ trợ của README bằng cách dùng tuỳ chọn --hf-repo của setup_env.py thay vì tải tay.
  • Dùng ngữ cảnh ngắn (cờ -c) khi máy ít RAM để giảm bộ nhớ.

Lưu ý và hạn chế

  • Không phải ứng dụng bấm đúp: bạn phải cài trình biên dịch và build, nên dễ gặp lỗi môi trường nhất là trên Windows.
  • Mô hình chính thức chỉ khoảng 2,4 tỷ tham số, chất lượng trả lời và tiếng Việt thua xa các mô hình lớn; README cũng nói các mô hình dùng để minh hoạ khả năng suy luận.
  • Các con số tăng tốc và tiết kiệm điện là của Microsoft đo trong điều kiện thử nghiệm của họ; máy bạn có thể khác.

Câu hỏi thường gặp

BitNet có thay được ChatGPT không?

Không. Đây là hạ tầng để chạy mô hình 1-bit nhỏ, hợp thử nghiệm và nghiên cứu. Với trò chuyện hằng ngày chất lượng cao, bạn nên dùng mô hình lớn hơn.

Máy không có card đồ hoạ có chạy được không?

Có, đó là mục tiêu chính của dự án: chạy trên CPU x86 hoặc ARM. Ngoài ra repo cũng có kernel GPU nếu bạn muốn thử.

Có miễn phí và có cài sẵn trên Windows được không?

Miễn phí, giấy phép MIT. Hiện README chỉ hướng dẫn build từ mã nguồn, chưa có bản cài sẵn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/microsoft/BitNet.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Mô hình AI mã nguồn mở

Mô hình AI mã nguồn mở105K

DeepSeek-V3

deepseek-ai / DeepSeek-V3

Mô hình ngôn ngữ mã nguồn mở cỡ 671 tỷ tham số của DeepSeek, dùng qua chat web, API hoặc máy chủ GPU riêng

KhóLinuxPythonWeb
Mô hình AI mã nguồn mở92K

DeepSeek-R1

deepseek-ai / DeepSeek-R1

Mô hình AI "biết suy nghĩ từng bước" mã nguồn mở của DeepSeek, giỏi toán, code và lập luận

KhóWebWindowsmacOSLinux+1
Mô hình AI mã nguồn mở27,7K

Qwen3

QwenLM / Qwen3

Dòng mô hình AI mở của Alibaba Qwen, nhiều cỡ từ 0,6 tỷ đến 235 tỷ tham số, chạy được trên laptop qua Ollama

VừaWindowsmacOSLinuxPython
Mô hình AI mã nguồn mở27,2K

MiniCPM-V và MiniCPM-o

OpenBMB / MiniCPM-V

Mô hình AI nhìn ảnh, nghe tiếng và nói chuyện, nhỏ gọn để chạy trên máy cá nhân và điện thoại

KhóWindowsmacOSLinuxAndroid+2
Mô hình AI mã nguồn mở26,1K

FLUX.1

black-forest-labs / flux

Mã chạy chính thức của dòng mô hình tạo và chỉnh sửa ảnh FLUX.1 từ Black Forest Labs

KhóLinuxPython
Mô hình AI mã nguồn mở20,5K

gpt-oss

openai / gpt-oss

Hai mô hình trọng số mở của OpenAI (20B và 120B), bản 20B chạy được trên máy có khoảng 16 GB bộ nhớ

VừaWindowsmacOSLinuxPython

Xem cả 10 repo Mô hình AI mã nguồn mở Về Kho Repo