Trải nghiệm khi dùng nanochat
Đây không phải ứng dụng cài rồi dùng. Bạn thuê (hoặc có sẵn) một máy chủ GPU, tải mã nguồn về, rồi chạy một file script duy nhất tên speedrun.sh. Script này lo tất cả: chuẩn bị dữ liệu, huấn luyện mô hình, đánh giá, rồi cho bạn trò chuyện với mô hình do chính mình tạo ra.
Theo README, kịch bản mẫu được thiết kế cho một máy 8 card H100 và chạy khoảng 1,5 đến 3 giờ, chi phí cỡ vài chục đô la thuê GPU (tác giả ước tính khoảng 48 USD cho hai giờ, ở giá khoảng 3 USD mỗi GPU mỗi giờ). Kết quả là một mô hình ngang năng lực GPT-2, tác giả ví như nói chuyện với một đứa trẻ mẫu giáo: biết viết truyện, làm thơ nhưng hay bịa.
Giá trị lớn nhất của nó là đọc code. Toàn bộ pipeline đủ nhỏ để một người đọc hiểu từ đầu đến cuối, và chỉ có một núm chỉnh chính là độ sâu của mô hình (depth); các siêu tham số còn lại được tự tính. Nhiều người dùng nó làm tài liệu sống để học cách các mô hình như ChatGPT được dựng nên.
Tính năng nổi bật
Trọn quy trình trong một repo nhỏ
Tách từ, tiền huấn luyện, tinh chỉnh, đánh giá, suy luận và giao diện chat, tất cả trong code ngắn, dễ sửa.
Một núm chỉnh độ lớn mô hình
Tham số depth (số tầng) quyết định cả dòng mô hình; các siêu tham số khác được tính tự động theo hướng tối ưu.
Kịch bản chạy một lệnh
File runs/speedrun.sh làm toàn bộ việc huấn luyện đến chat, là cách tham chiếu để tái hiện kết quả.
Bảng xếp hạng thời gian đạt mức GPT-2
Cộng đồng thi xem ai huấn luyện được mô hình ngang GPT-2 nhanh nhất; README liệt kê các kết quả và đóng góp.
Chat với mô hình do mình tạo
Sau khi huấn luyện, chạy giao diện dòng lệnh để hỏi mô hình bất cứ điều gì.
Chạy được với ít GPU hơn
README nói có thể chạy trên một GPU (lâu gấp khoảng 8 lần) hoặc A100, và cần giảm batch nếu VRAM dưới 80 GB.
Tận dụng nanochat vào việc gì?
Sinh viên, lập trình viên tò mò
Hiểu LLM từ gốc
Đọc từng file theo thứ tự pipeline để biết một chatbot được tạo ra thế nào, hơn là chỉ gọi API.
Nhà nghiên cứu, kỹ sư ML
Thử nghiệm ý tưởng huấn luyện
Chạy các lần huấn luyện ngắn (README gợi ý mô hình 12 tầng chỉ khoảng 5 phút) để thử thay đổi và so sánh.
Giảng viên, người làm cộng đồng AI
Làm bài giảng hoặc workshop
Dùng repo làm tài liệu thực hành để học viên chạy một vòng huấn luyện hoàn chỉnh.
Người thích tối ưu
Tham gia bảng xếp hạng speedrun
Cải tiến phần huấn luyện để rút ngắn thời gian đạt chất lượng ngang GPT-2 và gửi đóng góp.
Cần chuẩn bị gì?
- Máy Linux có GPU NVIDIA; kịch bản mẫu nhắm tới node 8 card H100 (80 GB VRAM mỗi card), chạy trên A100 vẫn được nhưng chậm hơn.
- Công cụ uv để quản lý thư viện Python, và git.
- Ngân sách thuê GPU (README ước tính cỡ vài chục USD cho một lần chạy tham chiếu) hoặc tự có phần cứng.
- Chạy trên một GPU nhỏ hay CPU/MPS có thể được nhưng phải giảm thiết lập và README cảnh báo có nhiều chỗ chưa được thử hết.
Hướng dẫn cài đặt chi tiết
Cài trên Linux (máy chủ GPU)
Thuê hoặc chuẩn bị một máy Linux có GPU NVIDIA (README gợi ý các nhà cung cấp GPU đám mây như Lambda). Tải mã nguồn về và cài công cụ uv nếu chưa có.
git clone https://github.com/karpathy/nanochat.git cd nanochatCài thư viện bản dùng GPU CUDA (A100, H100...) rồi kích hoạt môi trường ảo.
uv sync --extra gpu source .venv/bin/activateNếu chỉ có CPU hoặc Mac dùng chip Apple (MPS) để đọc code và thử nhỏ, README dùng tuỳ chọn cpu thay thế.
uv sync --extra cpu
Cài trên Chạy thử trên máy khác
README nói code phần lớn là PyTorch thuần nên có thể chạy trên xpu, mps nhưng tác giả chưa thử hết các đường chạy, có thể gặp lỗi. Nếu bạn dùng Windows, hãy cân nhắc WSL hoặc thuê máy Linux thay vì tự chỉnh.
Dùng thử lần đầu
Trong một phiên screen hoặc tmux (vì chạy khá lâu), chạy kịch bản tham chiếu. Nên chạy trên máy 8 GPU như README thiết kế.
bash runs/speedrun.shKhi script chạy xong (khoảng 1,5 đến vài giờ tuỳ phần cứng), kích hoạt lại môi trường rồi chat với mô hình.
source .venv/bin/activate python -m scripts.chat_cliHỏi thử vài câu: viết truyện ngắn, làm thơ, hoặc hỏi nó bạn là ai để xem hiện tượng bịa thông tin (hallucination) mà README nhắc tới.
Nếu card đồ hoạ dưới 80 GB, tìm tham số --device-batch-size trong các script và giảm dần (32, 16, 8...) cho đến khi hết lỗi hết bộ nhớ.
Mẹo dùng hay
- Đọc README kỹ trước khi thuê GPU; tính cả thời gian cài đặt vì tiền thuê chạy theo giờ.
- Muốn thử nhanh, chạy mô hình 12 tầng như ví dụ trong README (khoảng 5 phút huấn luyện) thay vì cả speedrun.
- Dùng DeepWiki hoặc tab Discussions của repo để hỏi đáp khi gặp khó, theo gợi ý của tác giả.
Lưu ý và hạn chế
- Mô hình tạo ra khá yếu so với ChatGPT hay Claude hiện nay: tác giả ví như trẻ mẫu giáo, hay bịa và sai kiến thức. Đây là dự án học tập, không phải sản phẩm.
- Cần phần cứng và tiền thuê GPU đáng kể; người không có GPU chỉ có thể đọc code hoặc thử rất nhỏ.
- Mã nguồn dùng cho thử nghiệm, một số đường chạy trên phần cứng ngoài NVIDIA chưa được kiểm chứng đầy đủ.
Câu hỏi thường gặp
nanochat có miễn phí không?
Mã nguồn MIT, miễn phí. Bạn tốn tiền thuê GPU khi chạy huấn luyện đầy đủ.
Có chat bằng tiếng Việt được không?
README không nói về tiếng Việt. Mô hình huấn luyện theo kịch bản mẫu chủ yếu hướng tiếng Anh, nên đừng kỳ vọng tiếng Việt tốt nếu không tự thay dữ liệu.
Máy tính cá nhân chạy được không?
Với laptop thường thì bạn đọc code và thử rất nhỏ. Chạy bản speedrun đầy đủ cần máy GPU mạnh, thường là thuê trên đám mây.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/karpathy/nanochat.gitRepo tương tự nên xem
nanoGPT
karpathy / nanoGPT
Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển
LLMs from Scratch
rasbt / LLMs-from-scratch
Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một
PyTorch
pytorch / pytorch
Thư viện học sâu phổ biến nhất giới nghiên cứu, tính toán tensor trên GPU và huấn luyện mạng nơ-ron