Trải nghiệm khi dùng Annotated Deep Learning Paper Implementations
Bạn mở trang nn.labml.ai và thấy mục lục chia theo chủ đề: Transformer, LoRA, GPT-NeoX, mô hình khuếch tán (diffusion), GAN, học tăng cường, bộ tối ưu và nhiều mảng khác. Bấm vào một bài, bạn thấy màn hình chia đôi: bên trái là lời giải thích, bên phải là đoạn code tương ứng, cuộn đến đâu hiểu đến đó.
Cách đọc này khác với đọc bài báo gốc đầy công thức. Với mỗi thuật toán như multi-headed attention hay Rotary Positional Embeddings, bạn nhìn thấy công thức, giải thích và code PyTorch ngắn gọn nằm ngay cạnh nhau. Nếu cần chạy thử, README cho biết có thể cài thư viện bằng pip rồi gọi các thành phần đã viết sẵn.
Bộ này không dành cho người chưa từng viết code, và cũng không phải ứng dụng AI dùng ngay. Nó hợp nhất khi bạn đang học học sâu hoặc muốn tự cài đặt một bài báo mới. README nói tác giả đang duy trì tích cực và thêm bản cài đặt mới thường xuyên, và gợi ý một công cụ để dùng cùng các agent viết code tạo ghi chú chú giải cho bài báo khác.
Tính năng nổi bật
Giao diện ghi chú song song
Trang web hiển thị lời giải thích và code cạnh nhau nên bạn khỏi phải chuyển qua lại giữa bài báo và mã nguồn.
Hơn 60 bản cài đặt
Gồm các họ Transformer, LoRA, diffusion, GAN, học tăng cường như PPO và DQN, bộ tối ưu như Adam và nhiều mảng khác.
Code PyTorch ngắn và dễ đọc
Mỗi bản ưu tiên sự rõ ràng thay vì tối ưu hiệu năng để người học dễ theo dõi.
Cài bằng pip
Có thể cài thư viện labml-nn bằng một lệnh pip để dùng lại các thành phần trong dự án của mình.
Cập nhật đều
README nói đang được duy trì và thêm bản cài đặt mới gần như hàng tuần.
Giấy phép MIT
Bạn có thể đọc, sửa và dùng lại code theo điều khoản MIT.
Tận dụng Annotated Deep Learning Paper Implementations vào việc gì?
Sinh viên, kỹ sư học máy
Hiểu cơ chế attention và Transformer qua code
Đọc các bài về multi-headed attention, GPT và biến thể để nắm kỹ thay vì chỉ dùng thư viện có sẵn.
Nghiên cứu sinh, lập trình viên AI
Tham khảo khi tự cài đặt một bài báo
Xem cách tác giả chia code và đặt tên để học phong cách cài đặt gọn.
Giảng viên
Chuẩn bị bài giảng về học sâu
Dùng các trang chú giải làm tài liệu minh hoạ cho buổi giảng về diffusion hoặc LoRA.
Người làm sản phẩm AI
Tìm hiểu LoRA và tinh chỉnh mô hình
Xem cách LoRA được cài đặt để hiểu vì sao tinh chỉnh tiết kiệm bộ nhớ.
Cần chuẩn bị gì?
- Python và PyTorch để chạy code; biết đọc code Python là điều kiện tiên quyết.
- Trình duyệt web để đọc ghi chú trên nn.labml.ai, không cần cài gì.
- Một số bản cài đặt lớn (ví dụ GPT-NeoX) cần GPU dung lượng cao; README nêu ví dụ GPU 48 GB.
- Nền tảng toán cơ bản về đại số tuyến tính và xác suất sẽ giúp theo dõi dễ hơn.
Hướng dẫn cài đặt chi tiết
Cài trên Đọc trên web
Mở trang web chính thức và chọn chủ đề trong mục lục. Đây là cách trải nghiệm tốt nhất vì có bố cục ghi chú song song.
https://nn.labml.ai/Mỗi trang là một thuật toán; cuộn để đọc từng đoạn giải thích và code đi kèm.
Cài trên Cài bằng pip
Cài Python, tạo môi trường ảo cho gọn, rồi cài gói labml-nn bằng lệnh sau (README ghi cách cài này).
python -m venv .venv .venv\Scripts\activate pip install labml-nnTrên macOS hoặc Linux, kích hoạt môi trường ảo bằng lệnh sau rồi cài gói như trên.
python3 -m venv .venv source .venv/bin/activate pip install labml-nnSau khi cài, xem thư mục ví dụ trong repo và trang web để biết cách chạy từng thí nghiệm.
Cài trên Tải mã nguồn
Muốn đọc và sửa code gốc, tải repo về.
git clone https://github.com/labmlai/annotated_deep_learning_paper_implementations.gitMở các file trong thư mục labml_nn bằng VS Code, đối chiếu với trang giải thích trên nn.labml.ai.
Dùng thử lần đầu
Mở nn.labml.ai và chọn mục Transformers để xem danh sách các bài liên quan.
Đọc bài Multi-headed attention, theo dõi phần công thức bên trái và code bên phải.
Sau đó đọc bài về GPT hoặc Rotary Positional Embeddings để thấy attention được dùng trong mô hình hoàn chỉnh.
Chọn một chủ đề khác như LoRA hoặc DDPM, đọc từ trên xuống để so sánh phong cách code.
Cài thư viện bằng pip và thử chạy một thành phần nhỏ trong môi trường Python của bạn.
Mẹo dùng hay
- Đọc bài báo gốc song song với trang chú giải để thấy công thức khớp với dòng code nào.
- Bắt đầu với bài ngắn như attention trước khi sang bài dài như diffusion.
- Muốn dùng lại code trong dự án thật, hãy kiểm tra độ tối ưu và đối chiếu với thư viện chính thống như PyTorch hoặc Hugging Face.
- Ghi chú lại những bài đã đọc để dễ ôn về sau, vì danh sách rất dài.
Lưu ý và hạn chế
- Code ưu tiên tính dễ hiểu hơn hiệu năng, nên không phải lúc nào cũng phù hợp để chạy sản xuất.
- Nội dung là tiếng Anh và đòi hỏi nền tảng toán, học sâu; người mới hoàn toàn có thể thấy khó.
- Một số thí nghiệm lớn cần GPU mạnh, máy văn phòng thông thường chỉ nên đọc hoặc chạy bản nhỏ.
Câu hỏi thường gặp
Repo này miễn phí không?
Có, giấy phép MIT, đọc và dùng code miễn phí. Trang nn.labml.ai cũng đọc tự do.
Tôi chưa biết học sâu có đọc được không?
Nên học qua giáo trình cơ bản trước, ví dụ AI for Beginners hay các khoá nhập môn. Bộ chú giải này phù hợp để đào sâu sau khi đã có khái niệm nền.
Có cần GPU không?
Để đọc thì không. Để chạy các thí nghiệm nhỏ thì thường chạy được trên máy thường, nhưng các mô hình lớn như GPT-NeoX cần GPU dung lượng cao theo README.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/labmlai/annotated_deep_learning_paper_implementations.gitRepo tương tự nên xem
nanoGPT
karpathy / nanoGPT
Repo nhỏ gọn của Andrej Karpathy để huấn luyện và tinh chỉnh mô hình GPT cỡ vừa, nay đã ngừng phát triển
LLMs from Scratch
rasbt / LLMs-from-scratch
Code đi kèm cuốn sách tự xây một mô hình giống ChatGPT bằng PyTorch, từng bước một
AI for Beginners
microsoft / AI-For-Beginners
Giáo trình 12 tuần, 24 bài của Microsoft về trí tuệ nhân tạo, từ AI cổ điển đến mạng nơ-ron