Chuyển đến nội dung

rasbt / LLMs-from-scratch

LLMs from Scratch

Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một

Đây là kho code chính thức của cuốn sách Build a Large Language Model (From Scratch) của Sebastian Raschka. Bạn tự viết từng phần của một mô hình ngôn ngữ kiểu GPT: xử lý chữ, cơ chế attention, huấn luyện và tinh chỉnh. Phù hợp cho người biết Python muốn hiểu bên trong ChatGPT chạy ra sao, không phải để dùng ngay một chatbot.

  • 108.503 sao
  • 16.789 fork
  • Jupyter Notebook
  • Cập nhật 7 ngày trước
  • Giấy phép riêng, xem trên GitHub
Độ khó
Khó Dành cho người biết lập trình
Dạng
Tài liệu & khoá học
Chạy trên
Python, Windows, macOS, Linux
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng LLMs from Scratch

Bạn tải repo về, mở các file notebook (đuôi .ipynb) theo từng chương bằng Jupyter hoặc VS Code. Mỗi chương nằm trong một thư mục riêng, kèm file code chính, phần bài tập và lời giải. Bạn đọc đoạn giải thích, chạy từng ô code và thấy ngay kết quả, từ việc cắt văn bản thành các mẩu chữ (token) cho đến khi mô hình bắt đầu sinh ra những câu có hình dạng giống tiếng người.

Cách học ở đây khác hẳn việc dùng thư viện có sẵn. Cuốn sách dùng PyTorch để tự cài đặt mọi thứ mà không dựa vào thư viện LLM bên ngoài, nên bạn nhìn thấy rõ attention, khối transformer và vòng lặp huấn luyện thật sự làm gì. README cho biết phần code chính của các chương được thiết kế để chạy trên laptop thông thường trong thời gian chấp nhận được, và tự dùng GPU nếu máy có.

Đừng kỳ vọng ra được một chatbot mạnh như ChatGPT. Mô hình bạn xây mang tính giáo dục, nhỏ và đơn giản. Phần thú vị là bạn hiểu cơ chế, rồi tải trọng số của các mô hình đã huấn luyện sẵn để tinh chỉnh (finetune) cho bài toán như phân loại văn bản hoặc làm theo chỉ dẫn.

Tính năng nổi bật

Đi từ văn bản thô đến mô hình hoàn chỉnh

Các chương lần lượt dạy xử lý dữ liệu chữ, viết attention, dựng mô hình GPT, huấn luyện trước và tinh chỉnh.

Bài tập kèm lời giải

Mỗi chương có bài tập và notebook lời giải, giúp bạn tự kiểm tra mình hiểu đến đâu.

Chạy được trên laptop thường

Theo README, code ở các chương chính không đòi phần cứng đặc biệt và tự dùng GPU nếu có.

Phụ lục về PyTorch, LoRA và vòng huấn luyện

Có phần nhập môn PyTorch cho người chưa quen, và phần tinh chỉnh tiết kiệm tài nguyên bằng LoRA.

Video khoá học đi kèm

Tác giả có khoá video dài khoảng 17 tiếng viết code theo từng chương, bán riêng qua nhà xuất bản.

Phần tài liệu bổ sung phong phú

Ngoài chương chính còn nhiều thư mục bổ sung để đào sâu các chủ đề, và một cuốn tiếp nối về mô hình suy luận.

Tận dụng LLMs from Scratch vào việc gì?

Lập trình viên, kỹ sư dữ liệu

Hiểu tận gốc cách ChatGPT hoạt động

Tự viết code attention và khối transformer để thôi coi mô hình là hộp đen khi làm việc với LLM.

Sinh viên, học viên cao học

Ôn thi, làm luận văn về xử lý ngôn ngữ

Dùng code làm nền tham chiếu rõ ràng để viết phần phương pháp hoặc tự chạy lại thí nghiệm nhỏ.

Người làm sản phẩm AI

Tinh chỉnh mô hình cho bài toán riêng

Học cách tinh chỉnh để phân loại tin nhắn khách hàng hoặc làm theo chỉ dẫn, rồi áp dụng ý tưởng sang mô hình lớn hơn.

Giảng viên, nhóm nghiên cứu

Giảng dạy hoặc sinh hoạt học nhóm

Mỗi buổi đi qua một chương, cả nhóm cùng chạy notebook và thảo luận.

Cần chuẩn bị gì?

  • Nền tảng Python vững là điều kiện quan trọng nhất, theo lời tác giả; biết sơ về PyTorch thì tốt, phụ lục A có phần nhập môn.
  • Python và các gói trong hướng dẫn thư mục setup của repo; nên dùng môi trường ảo.
  • Laptop thường là đủ cho các chương chính; GPU không bắt buộc nhưng giúp chạy nhanh hơn.
  • Kết nối Internet để tải dữ liệu và trọng số mô hình mẫu.

Hướng dẫn cài đặt chi tiết

Cài trên Tải về bằng git

  1. Cài Git nếu chưa có, mở Terminal hoặc PowerShell rồi tải repo về bằng lệnh sau (bản --depth 1 chỉ lấy phiên bản mới nhất nên nhẹ hơn).

    Terminal
    git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
    cd LLMs-from-scratch
  2. Mở file hướng dẫn trong thư mục setup của repo để cài Python và các gói cần thiết. Tác giả có mô tả nhiều cách, kể cả dùng công cụ uv.

    Văn bản
    setup/README.md
  3. Mở thư mục bằng VS Code hoặc Jupyter, vào ch02 và mở notebook ch02.ipynb để bắt đầu.

Cài trên Tải file ZIP

  1. Không muốn dùng Git thì bấm nút Download ZIP trên trang repo, hoặc tải trực tiếp bằng địa chỉ dưới rồi giải nén.

    Văn bản
    https://github.com/rasbt/LLMs-from-scratch/archive/refs/heads/main.zip
  2. Làm tiếp theo hướng dẫn trong thư mục setup để chuẩn bị môi trường Python, rồi mở các notebook theo thứ tự chương.

Cài trên Đọc trên GitHub

  1. Bạn có thể đọc code ngay trên GitHub, trình duyệt tự hiển thị notebook, để xem trước nội dung trước khi quyết định cài môi trường.

  2. Cuốn sách đầy đủ là sản phẩm bán của nhà xuất bản Manning và Amazon; repo là phần code đi kèm, nên phần giải thích chi tiết nằm trong sách.

Dùng thử lần đầu

  1. Đọc phần Table of Contents trong README để biết chương nào có code, chương nào chỉ là lý thuyết (chương 1 không có code).

  2. Mở ch02/01_main-chapter-code/ch02.ipynb và chạy từng ô để xem văn bản được tách thành token và biến thành số như thế nào.

  3. Sang chương 3 (attention) và chương 4 (dựng mô hình GPT), chạy lần lượt notebook chính trước khi mở bản tóm tắt dạng file .py.

  4. Làm bài tập cuối chương rồi đối chiếu với notebook exercise-solutions của chính chương đó.

  5. Sau khi đã huấn luyện nhỏ ở chương 5, thử chương 6 hoặc 7 để tinh chỉnh mô hình cho phân loại hoặc làm theo chỉ dẫn.

Mẹo dùng hay

  • Đọc bài viết How to best read this book của tác giả (có link trong README) để có cách đọc sách hiệu quả.
  • Nếu kẹt khi cài đặt, xem file troubleshooting.md ở gốc repo trước khi hỏi người khác.
  • Học xong cuốn này, bạn có thể tiếp tục với cuốn tiếp nối về mô hình suy luận (reasoning) của cùng tác giả.
  • Chạy thử trên máy yếu thì giảm kích thước dữ liệu hoặc số vòng huấn luyện thay vì bỏ cuộc.

Lưu ý và hạn chế

  • Giấy phép ghi nhận trên GitHub là NOASSERTION, tức chưa rõ ràng; hãy đọc file LICENSE trong repo trước khi dùng code vào sản phẩm thương mại.
  • Repo là phần code đi kèm sách, không phải khoá học tự chứa. Phần giải thích đầy đủ nằm trong sách có phí.
  • Mô hình tự xây mang tính học tập, không thể thay cho các mô hình thương mại đã huấn luyện trên lượng dữ liệu khổng lồ.

Câu hỏi thường gặp

Tôi chưa biết lập trình có học được không?

Khá khó. Tác giả nhấn mạnh nền tảng Python vững là điều kiện quan trọng nhất. Bạn nên học Python cơ bản trước rồi mới quay lại.

Có cần card đồ hoạ để chạy không?

Không bắt buộc. README nói code ở các chương chính chạy được trên laptop thông thường trong thời gian hợp lý và tự dùng GPU nếu có.

Repo này miễn phí còn cuốn sách thì sao?

Code trên GitHub xem được miễn phí. Cuốn sách và khoá video đi kèm do nhà xuất bản bán riêng, link nằm trong README.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/rasbt/LLMs-from-scratch.git

Repo tương tự nên xem

Học AI & prompt64,8K

nanoGPT

karpathy / nanoGPT

Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển

KhóPythonWindowsmacOSLinux
Thư viện & framework AI60,6K

nanochat

karpathy / nanochat

Tự huấn luyện một chatbot kiểu ChatGPT từ con số 0 với bộ code ngắn gọn của Andrej Karpathy

KhóLinuxPython
Học AI & prompt85,1K

LLM Course

mlabonne / llm-course

Lộ trình tự học mô hình ngôn ngữ lớn (LLM) từ nền tảng đến xây ứng dụng, kèm notebook chạy được trên Colab

KhóWeb

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Học AI & prompt

Học AI & prompt178K

prompts.chat (Awesome ChatGPT Prompts)

f / prompts.chat

Thư viện prompt mã nguồn mở lớn nhất: chọn câu lệnh mẫu để dùng với ChatGPT, Claude, Gemini

DễWebNode.jsDocker
Học AI & prompt145K

Awesome LLM Apps

Shubhamsaboo / awesome-llm-apps

Hơn 100 mẫu ứng dụng AI agent và RAG chạy được ngay: sao chép về, điền API key và thử

VừaWindowsmacOSLinuxPython
Học AI & prompt124K

Generative AI for Beginners

microsoft / generative-ai-for-beginners

Khoá học 21 bài của Microsoft dạy xây ứng dụng AI tạo sinh từ con số 0, có code Python và TypeScript

VừaWebPythonNode.js
Học AI & prompt92,2K

ML for Beginners

microsoft / ML-For-Beginners

Giáo trình 12 tuần, 26 bài về học máy cổ điển của Microsoft, có quiz và bài tập

VừaWebPython
Học AI & prompt80,1K

Prompt Engineering Guide

dair-ai / Prompt-Engineering-Guide

Bộ tài liệu mở về viết prompt, RAG và AI agent, đọc ngay trên web promptingguide.ai

DễWeb
Học AI & prompt79,7K

AI Agents for Beginners

microsoft / ai-agents-for-beginners

Khoá 18 bài của Microsoft dạy xây AI agent, có code mẫu dùng Microsoft Agent Framework

KhóWebPython

Xem cả 14 repo Học AI & prompt Về Kho Repo