Trải nghiệm khi dùng nanoGPT
Việc đầu tiên bạn thấy khi mở README là một thông báo của tác giả: nanoGPT đã cũ, bị coi là deprecated và được giữ lại để tham khảo, còn người cần tìm công cụ mới nên xem nanochat. Hãy đọc kỹ thông báo này trước khi bắt đầu, vì nếu bạn muốn dự án đang được duy trì thì nên nhảy sang nanochat.
Nếu bạn chỉ muốn học, nanoGPT vẫn là bài tập hay. README gợi ý bài thử nhanh nhất cho người chưa chuyên: chuẩn bị bộ dữ liệu toàn tập Shakespeare nhỏ khoảng 1 MB, huấn luyện một GPT cấp ký tự, rồi sinh ra các đoạn văn nghe giống kịch Shakespeare. Với GPU, README nói bản mẫu chạy khoảng ba phút trên một card A100. Với máy chỉ có CPU, có bản cấu hình thu nhỏ vẫn chạy được trong khoảng ba phút nhưng chất lượng thấp hơn.
Mô hình sinh ra không phải trợ lý trò chuyện. Bạn sẽ nhận những đoạn chữ nghe có vẻ như văn xưa, không có ý nghĩa thật. Giá trị nằm ở việc thấy toàn bộ vòng đời của mô hình ngôn ngữ chỉ trong vài file Python ngắn: chuẩn bị dữ liệu, huấn luyện và lấy mẫu kết quả.
Tính năng nổi bật
Mã nguồn rất gọn
Toàn bộ logic nằm trong vài file ngắn nên bạn đọc hết được trong một buổi và dễ chỉnh sửa theo ý mình.
Bài thử Shakespeare cho người mới
Chỉ với dữ liệu khoảng 1 MB, bạn huấn luyện một mô hình nhỏ và xem nó viết văn ngay trong vài phút.
Chạy trên CPU hoặc Mac
README có cấu hình thu nhỏ cho CPU và hướng dẫn dùng chip Apple Silicon qua tuỳ chọn MPS.
Tái lập GPT-2 cỡ 124M
README nói file train.py có thể tái lập GPT-2 124M trên OpenWebText bằng một máy nhiều GPU.
Tinh chỉnh checkpoint có sẵn
Bạn có thể nạp trọng số GPT-2 của OpenAI rồi tinh chỉnh bằng dữ liệu riêng.
Giấy phép MIT
Tự do học, sửa và dùng lại theo điều khoản MIT.
Tận dụng nanoGPT vào việc gì?
Sinh viên, lập trình viên
Hiểu GPT bằng cách đọc code
Đọc file mô hình và vòng lặp huấn luyện để thấy các khối cơ bản của GPT.
Người học học máy
Thí nghiệm huấn luyện mô hình nhỏ
Đổi kích thước mô hình, độ dài ngữ cảnh hay dữ liệu để xem ảnh hưởng đến chất lượng văn bản sinh ra.
Nghiên cứu sinh
Làm điểm xuất phát cho thử nghiệm riêng
Fork code gọn này để thử ý tưởng kiến trúc mới mà không phải vật lộn với codebase lớn.
Giảng viên, người làm cộng đồng
Dạy buổi workshop về LLM
Cho học viên chạy bài Shakespeare trong buổi học để thấy tận mắt quá trình huấn luyện.
Cần chuẩn bị gì?
- Python và các gói: PyTorch, numpy, transformers, datasets, tiktoken, wandb (tuỳ chọn) và tqdm.
- GPU NVIDIA là lựa chọn tốt nhất; README nói bản Shakespeare mẫu chạy khoảng ba phút trên một card A100.
- Có thể chạy CPU với cấu hình thu nhỏ, hoặc dùng Mac chip Apple với thiết lập MPS.
- Tái lập GPT-2 124M trên OpenWebText cần máy nhiều GPU và dữ liệu lớn, không dành cho máy cá nhân.
Hướng dẫn cài đặt chi tiết
Cài trên Cài gói Python
Cài Python, tạo môi trường ảo cho riêng dự án rồi cài các gói theo README. Tuỳ hệ điều hành bạn có thể cần cài PyTorch theo hướng dẫn riêng trên trang pytorch.org để chọn đúng bản cho GPU.
pip install torch numpy transformers datasets tiktoken wandb tqdmTải repo bằng Git rồi vào thư mục dự án.
git clone https://github.com/karpathy/nanoGPT.git cd nanoGPT
Cài trên Chạy thử Shakespeare (có GPU)
Chuẩn bị dữ liệu: lệnh này tải dữ liệu Shakespeare khoảng 1 MB và biến thành các file nhị phân train.bin và val.bin.
python data/shakespeare_char/prepare.pyHuấn luyện mô hình nhỏ bằng cấu hình mẫu của repo.
python train.py config/train_shakespeare_char.pySinh văn bản từ mô hình vừa huấn luyện.
python sample.py --out_dir=out-shakespeare-char
Cài trên Chạy thử trên CPU
Vẫn chuẩn bị dữ liệu như trên. Với máy không có GPU, dùng lệnh thu nhỏ theo README: tắt compile, dùng CPU và giảm kích thước mô hình.
python train.py config/train_shakespeare_char.py --device=cpu --compile=False --eval_iters=20 --log_interval=1 --block_size=64 --batch_size=12 --n_layer=4 --n_head=4 --n_embd=128 --max_iters=2000 --lr_decay_iters=2000 --dropout=0.0Sinh văn bản bằng CPU. Trên Mac chip Apple có thể thử --device=mps theo ghi chú của README.
python sample.py --out_dir=out-shakespeare-char --device=cpu
Dùng thử lần đầu
Đọc thông báo đầu README về nanochat để chắc chắn bạn muốn dùng nanoGPT chứ không phải bản kế nhiệm.
Chạy lệnh chuẩn bị dữ liệu Shakespeare để tạo file train.bin và val.bin.
python data/shakespeare_char/prepare.pyChạy huấn luyện với cấu hình phù hợp máy bạn (GPU hay CPU) và theo dõi chỉ số loss giảm dần.
Chạy sample.py để xem mô hình sinh văn bản, so sánh chất lượng giữa bản GPU và bản CPU thu nhỏ.
Thử đổi một thông số như số lớp hoặc độ dài ngữ cảnh để thấy ảnh hưởng.
Mẹo dùng hay
- Thử bài Shakespeare trước khi động tới các bộ dữ liệu lớn, vì nó nhỏ, nhanh và cho thấy toàn bộ quy trình.
- Mỗi lần chỉ đổi một thông số để biết thay đổi nào có tác dụng.
- Nếu muốn học lý thuyết kèm code, kết hợp với repo LLMs-from-scratch trong Kho Repo.
- Với máy Windows, ưu tiên làm theo hướng dẫn cài PyTorch chính thức trước khi chạy repo.
Lưu ý và hạn chế
- Tác giả đã ghi rõ nanoGPT cũ và deprecated; dự án mới nên xem nanochat. Repo không còn được cập nhật thường xuyên.
- Đây không phải trợ lý chat; mô hình huấn luyện nhỏ chỉ sinh được văn bản mô phỏng, chất lượng thấp.
- Tái lập GPT-2 124M cần phần cứng đắt tiền và dữ liệu lớn, ngoài tầm máy cá nhân.
Câu hỏi thường gặp
nanoGPT còn được cập nhật không?
Theo thông báo trong README, nó đã cũ và deprecated, được giữ lại để tham khảo. Tác giả khuyên xem nanochat cho nhu cầu mới.
Máy không có GPU chạy được không?
README có cấu hình thu nhỏ chạy bằng CPU trong khoảng ba phút, chất lượng văn bản sinh ra thấp hơn. Trên Mac chip Apple có thể dùng thiết lập MPS.
Có miễn phí không?
Có, giấy phép MIT, không tốn phí để tải và học. Chỉ tốn tiền điện và thuê GPU nếu bạn tự huấn luyện mô hình lớn.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/karpathy/nanoGPT.gitRepo tương tự nên xem
nanochat
karpathy / nanochat
Tự huấn luyện một chatbot kiểu ChatGPT từ con số 0 với bộ code ngắn gọn của Andrej Karpathy
LLMs from Scratch
rasbt / LLMs-from-scratch
Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một
Annotated Deep Learning Paper Implementations
labmlai / annotated_deep_learning_paper_implementations
Hơn 60 bản cài đặt PyTorch của các bài báo học sâu, có chú giải song song từng dòng code