Chuyển đến nội dung

karpathy / nanochat

nanochat

Tự huấn luyện một chatbot kiểu ChatGPT từ con số 0 với bộ code ngắn gọn của Andrej Karpathy

nanochat là bộ code nhỏ gọn, dễ đọc của Andrej Karpathy bao phủ toàn bộ vòng đời một mô hình ngôn ngữ: tạo bộ tách từ, huấn luyện từ đầu, tinh chỉnh, đánh giá và trò chuyện. Mục đích chính là để học và thử nghiệm, không phải để dùng thay ChatGPT. Hợp với người có nền tảng lập trình muốn hiểu LLM hoạt động ra sao từ gốc.

  • 60.600 sao
  • 8.507 fork
  • Python
  • Cập nhật 2 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Tài liệu & khoá học, Thư viện lập trình
Chạy trên
Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng nanochat

Đây không phải ứng dụng cài rồi dùng. Bạn thuê (hoặc có sẵn) một máy chủ GPU, tải mã nguồn về, rồi chạy một file script duy nhất tên speedrun.sh. Script này lo tất cả: chuẩn bị dữ liệu, huấn luyện mô hình, đánh giá, rồi cho bạn trò chuyện với mô hình do chính mình tạo ra.

Theo README, kịch bản mẫu được thiết kế cho một máy 8 card H100 và chạy khoảng 1,5 đến 3 giờ, chi phí cỡ vài chục đô la thuê GPU (tác giả ước tính khoảng 48 USD cho hai giờ, ở giá khoảng 3 USD mỗi GPU mỗi giờ). Kết quả là một mô hình ngang năng lực GPT-2, tác giả ví như nói chuyện với một đứa trẻ mẫu giáo: biết viết truyện, làm thơ nhưng hay bịa.

Giá trị lớn nhất của nó là đọc code. Toàn bộ pipeline đủ nhỏ để một người đọc hiểu từ đầu đến cuối, và chỉ có một núm chỉnh chính là độ sâu của mô hình (depth); các siêu tham số còn lại được tự tính. Nhiều người dùng nó làm tài liệu sống để học cách các mô hình như ChatGPT được dựng nên.

Tính năng nổi bật

Trọn quy trình trong một repo nhỏ

Tách từ, tiền huấn luyện, tinh chỉnh, đánh giá, suy luận và giao diện chat, tất cả trong code ngắn, dễ sửa.

Một núm chỉnh độ lớn mô hình

Tham số depth (số tầng) quyết định cả dòng mô hình; các siêu tham số khác được tính tự động theo hướng tối ưu.

Kịch bản chạy một lệnh

File runs/speedrun.sh làm toàn bộ việc huấn luyện đến chat, là cách tham chiếu để tái hiện kết quả.

Bảng xếp hạng thời gian đạt mức GPT-2

Cộng đồng thi xem ai huấn luyện được mô hình ngang GPT-2 nhanh nhất; README liệt kê các kết quả và đóng góp.

Chat với mô hình do mình tạo

Sau khi huấn luyện, chạy giao diện dòng lệnh để hỏi mô hình bất cứ điều gì.

Chạy được với ít GPU hơn

README nói có thể chạy trên một GPU (lâu gấp khoảng 8 lần) hoặc A100, và cần giảm batch nếu VRAM dưới 80 GB.

Tận dụng nanochat vào việc gì?

Sinh viên, lập trình viên tò mò

Hiểu LLM từ gốc

Đọc từng file theo thứ tự pipeline để biết một chatbot được tạo ra thế nào, hơn là chỉ gọi API.

Nhà nghiên cứu, kỹ sư ML

Thử nghiệm ý tưởng huấn luyện

Chạy các lần huấn luyện ngắn (README gợi ý mô hình 12 tầng chỉ khoảng 5 phút) để thử thay đổi và so sánh.

Giảng viên, người làm cộng đồng AI

Làm bài giảng hoặc workshop

Dùng repo làm tài liệu thực hành để học viên chạy một vòng huấn luyện hoàn chỉnh.

Người thích tối ưu

Tham gia bảng xếp hạng speedrun

Cải tiến phần huấn luyện để rút ngắn thời gian đạt chất lượng ngang GPT-2 và gửi đóng góp.

Cần chuẩn bị gì?

  • Máy Linux có GPU NVIDIA; kịch bản mẫu nhắm tới node 8 card H100 (80 GB VRAM mỗi card), chạy trên A100 vẫn được nhưng chậm hơn.
  • Công cụ uv để quản lý thư viện Python, và git.
  • Ngân sách thuê GPU (README ước tính cỡ vài chục USD cho một lần chạy tham chiếu) hoặc tự có phần cứng.
  • Chạy trên một GPU nhỏ hay CPU/MPS có thể được nhưng phải giảm thiết lập và README cảnh báo có nhiều chỗ chưa được thử hết.

Hướng dẫn cài đặt chi tiết

Cài trên Linux (máy chủ GPU)

  1. Thuê hoặc chuẩn bị một máy Linux có GPU NVIDIA (README gợi ý các nhà cung cấp GPU đám mây như Lambda). Tải mã nguồn về và cài công cụ uv nếu chưa có.

    Terminal
    git clone https://github.com/karpathy/nanochat.git
    cd nanochat
  2. Cài thư viện bản dùng GPU CUDA (A100, H100...) rồi kích hoạt môi trường ảo.

    Terminal
    uv sync --extra gpu
    source .venv/bin/activate
  3. Nếu chỉ có CPU hoặc Mac dùng chip Apple (MPS) để đọc code và thử nhỏ, README dùng tuỳ chọn cpu thay thế.

    Terminal
    uv sync --extra cpu

Cài trên Chạy thử trên máy khác

  1. README nói code phần lớn là PyTorch thuần nên có thể chạy trên xpu, mps nhưng tác giả chưa thử hết các đường chạy, có thể gặp lỗi. Nếu bạn dùng Windows, hãy cân nhắc WSL hoặc thuê máy Linux thay vì tự chỉnh.

Dùng thử lần đầu

  1. Trong một phiên screen hoặc tmux (vì chạy khá lâu), chạy kịch bản tham chiếu. Nên chạy trên máy 8 GPU như README thiết kế.

    Terminal
    bash runs/speedrun.sh
  2. Khi script chạy xong (khoảng 1,5 đến vài giờ tuỳ phần cứng), kích hoạt lại môi trường rồi chat với mô hình.

    Terminal
    source .venv/bin/activate
    python -m scripts.chat_cli
  3. Hỏi thử vài câu: viết truyện ngắn, làm thơ, hoặc hỏi nó bạn là ai để xem hiện tượng bịa thông tin (hallucination) mà README nhắc tới.

  4. Nếu card đồ hoạ dưới 80 GB, tìm tham số --device-batch-size trong các script và giảm dần (32, 16, 8...) cho đến khi hết lỗi hết bộ nhớ.

Mẹo dùng hay

  • Đọc README kỹ trước khi thuê GPU; tính cả thời gian cài đặt vì tiền thuê chạy theo giờ.
  • Muốn thử nhanh, chạy mô hình 12 tầng như ví dụ trong README (khoảng 5 phút huấn luyện) thay vì cả speedrun.
  • Dùng DeepWiki hoặc tab Discussions của repo để hỏi đáp khi gặp khó, theo gợi ý của tác giả.

Lưu ý và hạn chế

  • Mô hình tạo ra khá yếu so với ChatGPT hay Claude hiện nay: tác giả ví như trẻ mẫu giáo, hay bịa và sai kiến thức. Đây là dự án học tập, không phải sản phẩm.
  • Cần phần cứng và tiền thuê GPU đáng kể; người không có GPU chỉ có thể đọc code hoặc thử rất nhỏ.
  • Mã nguồn dùng cho thử nghiệm, một số đường chạy trên phần cứng ngoài NVIDIA chưa được kiểm chứng đầy đủ.

Câu hỏi thường gặp

nanochat có miễn phí không?

Mã nguồn MIT, miễn phí. Bạn tốn tiền thuê GPU khi chạy huấn luyện đầy đủ.

Có chat bằng tiếng Việt được không?

README không nói về tiếng Việt. Mô hình huấn luyện theo kịch bản mẫu chủ yếu hướng tiếng Anh, nên đừng kỳ vọng tiếng Việt tốt nếu không tự thay dữ liệu.

Máy tính cá nhân chạy được không?

Với laptop thường thì bạn đọc code và thử rất nhỏ. Chạy bản speedrun đầy đủ cần máy GPU mạnh, thường là thuê trên đám mây.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/karpathy/nanochat.git

Repo tương tự nên xem

Học AI & prompt64,8K

nanoGPT

karpathy / nanoGPT

Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển

KhóPythonWindowsmacOSLinux
Học AI & prompt109K

LLMs from Scratch

rasbt / LLMs-from-scratch

Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một

KhóPythonWindowsmacOSLinux
Thư viện & framework AI106K

PyTorch

pytorch / pytorch

Thư viện học sâu phổ biến nhất giới nghiên cứu, tính toán tensor trên GPU và huấn luyện mạng nơ-ron

KhóWindowsmacOSLinuxDocker+1

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Thư viện & framework AI

Thư viện & framework AI202K

TensorFlow

tensorflow / tensorflow

Nền tảng học máy của Google để xây, huấn luyện và triển khai mô hình AI bằng Python

KhóWindowsmacOSLinuxDocker+1
Thư viện & framework AI169K

Hugging Face Transformers

huggingface / transformers

Thư viện Python để tải và chạy hàng triệu mô hình AI từ Hugging Face chỉ với vài dòng code

KhóWindowsmacOSLinuxPython
Thư viện & framework AI150K

LangChain

langchain-ai / langchain

Thư viện Python giúp lập trình viên ráp ứng dụng và agent chạy bằng AI từ các mảnh ghép dựng sẵn

KhóPython
Thư viện & framework AI91,6K

OpenCV

opencv / opencv

Thư viện thị giác máy tính kinh điển: xử lý ảnh, video, nhận diện khuôn mặt, vật thể

KhóWindowsmacOSLinuxAndroid+2
Thư viện & framework AI79,6K

Unsloth

unslothai / unsloth

Ứng dụng chạy và tinh chỉnh mô hình AI trên máy mình, tiết kiệm VRAM và nhanh hơn

VừaWindowsmacOSLinuxDocker+1
Thư viện & framework AI76,1K

LLaMA-Factory

hiyouga / LlamaFactory

Tinh chỉnh hơn 100 mô hình ngôn ngữ qua giao diện web hoặc dòng lệnh, gần như không cần viết code

KhóWindowsLinuxDockerPython

Xem cả 14 repo Thư viện & framework AI Về Kho Repo