Chuyển đến nội dung

karpathy / nanoGPT

nanoGPT

Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển

nanoGPT là mã nguồn rất gọn để huấn luyện hoặc tinh chỉnh mô hình GPT cỡ trung. Nó từng được dùng rộng rãi để học cách GPT hoạt động. Tác giả ghi trong README rằng nanoGPT đã cũ và không còn phát triển, và khuyên dùng nanochat thay thế. Hợp để đọc hiểu code hơn là để làm sản phẩm mới.

  • 64.799 sao
  • 11.147 fork
  • Python
  • Cập nhật 1 năm trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Tài liệu & khoá học
Chạy trên
Python, Windows, macOS, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng nanoGPT

Việc đầu tiên bạn thấy khi mở README là một thông báo của tác giả: nanoGPT đã cũ, bị coi là deprecated và được giữ lại để tham khảo, còn người cần tìm công cụ mới nên xem nanochat. Hãy đọc kỹ thông báo này trước khi bắt đầu, vì nếu bạn muốn dự án đang được duy trì thì nên nhảy sang nanochat.

Nếu bạn chỉ muốn học, nanoGPT vẫn là bài tập hay. README gợi ý bài thử nhanh nhất cho người chưa chuyên: chuẩn bị bộ dữ liệu toàn tập Shakespeare nhỏ khoảng 1 MB, huấn luyện một GPT cấp ký tự, rồi sinh ra các đoạn văn nghe giống kịch Shakespeare. Với GPU, README nói bản mẫu chạy khoảng ba phút trên một card A100. Với máy chỉ có CPU, có bản cấu hình thu nhỏ vẫn chạy được trong khoảng ba phút nhưng chất lượng thấp hơn.

Mô hình sinh ra không phải trợ lý trò chuyện. Bạn sẽ nhận những đoạn chữ nghe có vẻ như văn xưa, không có ý nghĩa thật. Giá trị nằm ở việc thấy toàn bộ vòng đời của mô hình ngôn ngữ chỉ trong vài file Python ngắn: chuẩn bị dữ liệu, huấn luyện và lấy mẫu kết quả.

Tính năng nổi bật

Mã nguồn rất gọn

Toàn bộ logic nằm trong vài file ngắn nên bạn đọc hết được trong một buổi và dễ chỉnh sửa theo ý mình.

Bài thử Shakespeare cho người mới

Chỉ với dữ liệu khoảng 1 MB, bạn huấn luyện một mô hình nhỏ và xem nó viết văn ngay trong vài phút.

Chạy trên CPU hoặc Mac

README có cấu hình thu nhỏ cho CPU và hướng dẫn dùng chip Apple Silicon qua tuỳ chọn MPS.

Tái lập GPT-2 cỡ 124M

README nói file train.py có thể tái lập GPT-2 124M trên OpenWebText bằng một máy nhiều GPU.

Tinh chỉnh checkpoint có sẵn

Bạn có thể nạp trọng số GPT-2 của OpenAI rồi tinh chỉnh bằng dữ liệu riêng.

Giấy phép MIT

Tự do học, sửa và dùng lại theo điều khoản MIT.

Tận dụng nanoGPT vào việc gì?

Sinh viên, lập trình viên

Hiểu GPT bằng cách đọc code

Đọc file mô hình và vòng lặp huấn luyện để thấy các khối cơ bản của GPT.

Người học học máy

Thí nghiệm huấn luyện mô hình nhỏ

Đổi kích thước mô hình, độ dài ngữ cảnh hay dữ liệu để xem ảnh hưởng đến chất lượng văn bản sinh ra.

Nghiên cứu sinh

Làm điểm xuất phát cho thử nghiệm riêng

Fork code gọn này để thử ý tưởng kiến trúc mới mà không phải vật lộn với codebase lớn.

Giảng viên, người làm cộng đồng

Dạy buổi workshop về LLM

Cho học viên chạy bài Shakespeare trong buổi học để thấy tận mắt quá trình huấn luyện.

Cần chuẩn bị gì?

  • Python và các gói: PyTorch, numpy, transformers, datasets, tiktoken, wandb (tuỳ chọn) và tqdm.
  • GPU NVIDIA là lựa chọn tốt nhất; README nói bản Shakespeare mẫu chạy khoảng ba phút trên một card A100.
  • Có thể chạy CPU với cấu hình thu nhỏ, hoặc dùng Mac chip Apple với thiết lập MPS.
  • Tái lập GPT-2 124M trên OpenWebText cần máy nhiều GPU và dữ liệu lớn, không dành cho máy cá nhân.

Hướng dẫn cài đặt chi tiết

Cài trên Cài gói Python

  1. Cài Python, tạo môi trường ảo cho riêng dự án rồi cài các gói theo README. Tuỳ hệ điều hành bạn có thể cần cài PyTorch theo hướng dẫn riêng trên trang pytorch.org để chọn đúng bản cho GPU.

    Terminal
    pip install torch numpy transformers datasets tiktoken wandb tqdm
  2. Tải repo bằng Git rồi vào thư mục dự án.

    Terminal
    git clone https://github.com/karpathy/nanoGPT.git
    cd nanoGPT

Cài trên Chạy thử Shakespeare (có GPU)

  1. Chuẩn bị dữ liệu: lệnh này tải dữ liệu Shakespeare khoảng 1 MB và biến thành các file nhị phân train.bin và val.bin.

    Terminal
    python data/shakespeare_char/prepare.py
  2. Huấn luyện mô hình nhỏ bằng cấu hình mẫu của repo.

    Terminal
    python train.py config/train_shakespeare_char.py
  3. Sinh văn bản từ mô hình vừa huấn luyện.

    Terminal
    python sample.py --out_dir=out-shakespeare-char

Cài trên Chạy thử trên CPU

  1. Vẫn chuẩn bị dữ liệu như trên. Với máy không có GPU, dùng lệnh thu nhỏ theo README: tắt compile, dùng CPU và giảm kích thước mô hình.

    Terminal
    python train.py config/train_shakespeare_char.py --device=cpu --compile=False --eval_iters=20 --log_interval=1 --block_size=64 --batch_size=12 --n_layer=4 --n_head=4 --n_embd=128 --max_iters=2000 --lr_decay_iters=2000 --dropout=0.0
  2. Sinh văn bản bằng CPU. Trên Mac chip Apple có thể thử --device=mps theo ghi chú của README.

    Terminal
    python sample.py --out_dir=out-shakespeare-char --device=cpu

Dùng thử lần đầu

  1. Đọc thông báo đầu README về nanochat để chắc chắn bạn muốn dùng nanoGPT chứ không phải bản kế nhiệm.

  2. Chạy lệnh chuẩn bị dữ liệu Shakespeare để tạo file train.bin và val.bin.

    Terminal
    python data/shakespeare_char/prepare.py
  3. Chạy huấn luyện với cấu hình phù hợp máy bạn (GPU hay CPU) và theo dõi chỉ số loss giảm dần.

  4. Chạy sample.py để xem mô hình sinh văn bản, so sánh chất lượng giữa bản GPU và bản CPU thu nhỏ.

  5. Thử đổi một thông số như số lớp hoặc độ dài ngữ cảnh để thấy ảnh hưởng.

Mẹo dùng hay

  • Thử bài Shakespeare trước khi động tới các bộ dữ liệu lớn, vì nó nhỏ, nhanh và cho thấy toàn bộ quy trình.
  • Mỗi lần chỉ đổi một thông số để biết thay đổi nào có tác dụng.
  • Nếu muốn học lý thuyết kèm code, kết hợp với repo LLMs-from-scratch trong Kho Repo.
  • Với máy Windows, ưu tiên làm theo hướng dẫn cài PyTorch chính thức trước khi chạy repo.

Lưu ý và hạn chế

  • Tác giả đã ghi rõ nanoGPT cũ và deprecated; dự án mới nên xem nanochat. Repo không còn được cập nhật thường xuyên.
  • Đây không phải trợ lý chat; mô hình huấn luyện nhỏ chỉ sinh được văn bản mô phỏng, chất lượng thấp.
  • Tái lập GPT-2 124M cần phần cứng đắt tiền và dữ liệu lớn, ngoài tầm máy cá nhân.

Câu hỏi thường gặp

nanoGPT còn được cập nhật không?

Theo thông báo trong README, nó đã cũ và deprecated, được giữ lại để tham khảo. Tác giả khuyên xem nanochat cho nhu cầu mới.

Máy không có GPU chạy được không?

README có cấu hình thu nhỏ chạy bằng CPU trong khoảng ba phút, chất lượng văn bản sinh ra thấp hơn. Trên Mac chip Apple có thể dùng thiết lập MPS.

Có miễn phí không?

Có, giấy phép MIT, không tốn phí để tải và học. Chỉ tốn tiền điện và thuê GPU nếu bạn tự huấn luyện mô hình lớn.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/karpathy/nanoGPT.git

Repo tương tự nên xem

Thư viện & framework AI60,6K

nanochat

karpathy / nanochat

Tự huấn luyện một chatbot kiểu ChatGPT từ con số 0 với bộ code ngắn gọn của Andrej Karpathy

KhóLinuxPython
Học AI & prompt109K

LLMs from Scratch

rasbt / LLMs-from-scratch

Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một

KhóPythonWindowsmacOSLinux
Học AI & prompt67,8K

Annotated Deep Learning Paper Implementations

labmlai / annotated_deep_learning_paper_implementations

Hơn 60 bản cài đặt PyTorch của các bài báo học sâu, có chú giải song song từng dòng code

KhóWebPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Học AI & prompt

Học AI & prompt178K

prompts.chat (Awesome ChatGPT Prompts)

f / prompts.chat

Thư viện prompt mã nguồn mở lớn nhất: chọn câu lệnh mẫu để dùng với ChatGPT, Claude, Gemini

DễWebNode.jsDocker
Học AI & prompt145K

Awesome LLM Apps

Shubhamsaboo / awesome-llm-apps

Hơn 100 mẫu ứng dụng AI agent và RAG chạy được ngay: sao chép về, điền API key và thử

VừaWindowsmacOSLinuxPython
Học AI & prompt124K

Generative AI for Beginners

microsoft / generative-ai-for-beginners

Khoá học 21 bài của Microsoft dạy xây ứng dụng AI tạo sinh từ con số 0, có code Python và TypeScript

VừaWebPythonNode.js
Học AI & prompt92,2K

ML for Beginners

microsoft / ML-For-Beginners

Giáo trình 12 tuần, 26 bài về học máy cổ điển của Microsoft, có quiz và bài tập

VừaWebPython
Học AI & prompt85,1K

LLM Course

mlabonne / llm-course

Lộ trình tự học mô hình ngôn ngữ lớn (LLM) từ nền tảng đến xây ứng dụng, kèm notebook chạy được trên Colab

KhóWeb
Học AI & prompt80,1K

Prompt Engineering Guide

dair-ai / Prompt-Engineering-Guide

Bộ tài liệu mở về viết prompt, RAG và AI agent, đọc ngay trên web promptingguide.ai

DễWeb

Xem cả 14 repo Học AI & prompt Về Kho Repo