Trải nghiệm khi dùng LLMs from Scratch
Bạn tải repo về, mở các file notebook (đuôi .ipynb) theo từng chương bằng Jupyter hoặc VS Code. Mỗi chương nằm trong một thư mục riêng, kèm file code chính, phần bài tập và lời giải. Bạn đọc đoạn giải thích, chạy từng ô code và thấy ngay kết quả, từ việc cắt văn bản thành các mẩu chữ (token) cho đến khi mô hình bắt đầu sinh ra những câu có hình dạng giống tiếng người.
Cách học ở đây khác hẳn việc dùng thư viện có sẵn. Cuốn sách dùng PyTorch để tự cài đặt mọi thứ mà không dựa vào thư viện LLM bên ngoài, nên bạn nhìn thấy rõ attention, khối transformer và vòng lặp huấn luyện thật sự làm gì. README cho biết phần code chính của các chương được thiết kế để chạy trên laptop thông thường trong thời gian chấp nhận được, và tự dùng GPU nếu máy có.
Đừng kỳ vọng ra được một chatbot mạnh như ChatGPT. Mô hình bạn xây mang tính giáo dục, nhỏ và đơn giản. Phần thú vị là bạn hiểu cơ chế, rồi tải trọng số của các mô hình đã huấn luyện sẵn để tinh chỉnh (finetune) cho bài toán như phân loại văn bản hoặc làm theo chỉ dẫn.
Tính năng nổi bật
Đi từ văn bản thô đến mô hình hoàn chỉnh
Các chương lần lượt dạy xử lý dữ liệu chữ, viết attention, dựng mô hình GPT, huấn luyện trước và tinh chỉnh.
Bài tập kèm lời giải
Mỗi chương có bài tập và notebook lời giải, giúp bạn tự kiểm tra mình hiểu đến đâu.
Chạy được trên laptop thường
Theo README, code ở các chương chính không đòi phần cứng đặc biệt và tự dùng GPU nếu có.
Phụ lục về PyTorch, LoRA và vòng huấn luyện
Có phần nhập môn PyTorch cho người chưa quen, và phần tinh chỉnh tiết kiệm tài nguyên bằng LoRA.
Video khoá học đi kèm
Tác giả có khoá video dài khoảng 17 tiếng viết code theo từng chương, bán riêng qua nhà xuất bản.
Phần tài liệu bổ sung phong phú
Ngoài chương chính còn nhiều thư mục bổ sung để đào sâu các chủ đề, và một cuốn tiếp nối về mô hình suy luận.
Tận dụng LLMs from Scratch vào việc gì?
Lập trình viên, kỹ sư dữ liệu
Hiểu tận gốc cách ChatGPT hoạt động
Tự viết code attention và khối transformer để thôi coi mô hình là hộp đen khi làm việc với LLM.
Sinh viên, học viên cao học
Ôn thi, làm luận văn về xử lý ngôn ngữ
Dùng code làm nền tham chiếu rõ ràng để viết phần phương pháp hoặc tự chạy lại thí nghiệm nhỏ.
Người làm sản phẩm AI
Tinh chỉnh mô hình cho bài toán riêng
Học cách tinh chỉnh để phân loại tin nhắn khách hàng hoặc làm theo chỉ dẫn, rồi áp dụng ý tưởng sang mô hình lớn hơn.
Giảng viên, nhóm nghiên cứu
Giảng dạy hoặc sinh hoạt học nhóm
Mỗi buổi đi qua một chương, cả nhóm cùng chạy notebook và thảo luận.
Cần chuẩn bị gì?
- Nền tảng Python vững là điều kiện quan trọng nhất, theo lời tác giả; biết sơ về PyTorch thì tốt, phụ lục A có phần nhập môn.
- Python và các gói trong hướng dẫn thư mục setup của repo; nên dùng môi trường ảo.
- Laptop thường là đủ cho các chương chính; GPU không bắt buộc nhưng giúp chạy nhanh hơn.
- Kết nối Internet để tải dữ liệu và trọng số mô hình mẫu.
Hướng dẫn cài đặt chi tiết
Cài trên Tải về bằng git
Cài Git nếu chưa có, mở Terminal hoặc PowerShell rồi tải repo về bằng lệnh sau (bản --depth 1 chỉ lấy phiên bản mới nhất nên nhẹ hơn).
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git cd LLMs-from-scratchMở file hướng dẫn trong thư mục setup của repo để cài Python và các gói cần thiết. Tác giả có mô tả nhiều cách, kể cả dùng công cụ uv.
setup/README.mdMở thư mục bằng VS Code hoặc Jupyter, vào ch02 và mở notebook ch02.ipynb để bắt đầu.
Cài trên Tải file ZIP
Không muốn dùng Git thì bấm nút Download ZIP trên trang repo, hoặc tải trực tiếp bằng địa chỉ dưới rồi giải nén.
https://github.com/rasbt/LLMs-from-scratch/archive/refs/heads/main.zipLàm tiếp theo hướng dẫn trong thư mục setup để chuẩn bị môi trường Python, rồi mở các notebook theo thứ tự chương.
Cài trên Đọc trên GitHub
Bạn có thể đọc code ngay trên GitHub, trình duyệt tự hiển thị notebook, để xem trước nội dung trước khi quyết định cài môi trường.
Cuốn sách đầy đủ là sản phẩm bán của nhà xuất bản Manning và Amazon; repo là phần code đi kèm, nên phần giải thích chi tiết nằm trong sách.
Dùng thử lần đầu
Đọc phần Table of Contents trong README để biết chương nào có code, chương nào chỉ là lý thuyết (chương 1 không có code).
Mở ch02/01_main-chapter-code/ch02.ipynb và chạy từng ô để xem văn bản được tách thành token và biến thành số như thế nào.
Sang chương 3 (attention) và chương 4 (dựng mô hình GPT), chạy lần lượt notebook chính trước khi mở bản tóm tắt dạng file .py.
Làm bài tập cuối chương rồi đối chiếu với notebook exercise-solutions của chính chương đó.
Sau khi đã huấn luyện nhỏ ở chương 5, thử chương 6 hoặc 7 để tinh chỉnh mô hình cho phân loại hoặc làm theo chỉ dẫn.
Mẹo dùng hay
- Đọc bài viết How to best read this book của tác giả (có link trong README) để có cách đọc sách hiệu quả.
- Nếu kẹt khi cài đặt, xem file troubleshooting.md ở gốc repo trước khi hỏi người khác.
- Học xong cuốn này, bạn có thể tiếp tục với cuốn tiếp nối về mô hình suy luận (reasoning) của cùng tác giả.
- Chạy thử trên máy yếu thì giảm kích thước dữ liệu hoặc số vòng huấn luyện thay vì bỏ cuộc.
Lưu ý và hạn chế
- Giấy phép ghi nhận trên GitHub là NOASSERTION, tức chưa rõ ràng; hãy đọc file LICENSE trong repo trước khi dùng code vào sản phẩm thương mại.
- Repo là phần code đi kèm sách, không phải khoá học tự chứa. Phần giải thích đầy đủ nằm trong sách có phí.
- Mô hình tự xây mang tính học tập, không thể thay cho các mô hình thương mại đã huấn luyện trên lượng dữ liệu khổng lồ.
Câu hỏi thường gặp
Tôi chưa biết lập trình có học được không?
Khá khó. Tác giả nhấn mạnh nền tảng Python vững là điều kiện quan trọng nhất. Bạn nên học Python cơ bản trước rồi mới quay lại.
Có cần card đồ hoạ để chạy không?
Không bắt buộc. README nói code ở các chương chính chạy được trên laptop thông thường trong thời gian hợp lý và tự dùng GPU nếu có.
Repo này miễn phí còn cuốn sách thì sao?
Code trên GitHub xem được miễn phí. Cuốn sách và khoá video đi kèm do nhà xuất bản bán riêng, link nằm trong README.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/rasbt/LLMs-from-scratch.gitRepo tương tự nên xem
nanoGPT
karpathy / nanoGPT
Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển
nanochat
karpathy / nanochat
Tự huấn luyện một chatbot kiểu ChatGPT từ con số 0 với bộ code ngắn gọn của Andrej Karpathy
LLM Course
mlabonne / llm-course
Lộ trình tự học mô hình ngôn ngữ lớn (LLM) từ nền tảng đến xây ứng dụng, kèm notebook chạy được trên Colab