Trải nghiệm khi dùng WebLLM
Cách nhanh nhất để thấy WebLLM là mở trang chat demo chat.webllm.ai bằng trình duyệt hỗ trợ WebGPU. Bạn chọn một mô hình, trang tải trọng số về trình duyệt rồi bạn chat ngay trong tab, không cần tạo tài khoản hay cài thêm ứng dụng. Lần đầu tải khá lâu vì mô hình nặng, các lần sau được lưu cache nên nhanh hơn.
Với lập trình viên web, WebLLM là gói npm. Bạn gọi hàm tạo engine với tên mô hình, hiện thanh tiến trình trong lúc tải, rồi gọi chat completions giống hệt OpenAI, kể cả streaming (chữ chạy ra từng dòng). Có thể đặt việc tính toán trong Web Worker để giao diện không bị đơ.
Bù lại cho sự tiện lợi là giới hạn của trình duyệt: cần máy có WebGPU và card đồ hoạ đủ khoẻ, mô hình phải nhỏ, và người dùng phải tải vài trăm MB đến vài GB lần đầu. Hợp nhất với ứng dụng web ưu tiên riêng tư hoặc muốn giảm chi phí gọi API.
Tính năng nổi bật
Chạy hoàn toàn trong trình duyệt
Không có máy chủ xử lý AI, dữ liệu người dùng gõ vào không phải gửi đi đâu, tăng tốc bằng WebGPU.
Tương thích OpenAI API
Hỗ trợ streaming, chế độ JSON, đặt seed; code gọi OpenAI có thể chuyển sang với thay đổi nhỏ.
Sinh JSON có cấu trúc
Ép mô hình trả về JSON theo schema, hữu ích khi cần trích thông tin thành dữ liệu.
Nhiều họ mô hình
Hỗ trợ Llama, Phi, Gemma, Mistral, Qwen và có thể nạp mô hình tự biên dịch theo định dạng MLC.
Web Worker và tiện ích Chrome
Chạy tính toán ở luồng riêng cho giao diện mượt, và có ví dụ làm tiện ích Chrome dùng WebLLM.
Dễ nhúng
Cài bằng npm, yarn, pnpm hoặc nhập thẳng từ CDN, kèm nhiều ví dụ trong thư mục examples.
Tận dụng WebLLM vào việc gì?
Lập trình viên web
Thêm trợ lý AI riêng tư vào trang web
Cho khách hỏi đáp ngay trên trang mà không cần trả phí API hay gửi nội dung cho bên thứ ba.
Người làm sản phẩm
Công cụ viết lại, dịch văn bản trong trình duyệt
Làm trang nhỏ để người dùng dán văn bản và nhờ mô hình chỉnh sửa, văn bản không rời khỏi máy.
Lập trình viên tiện ích
Tiện ích trình duyệt tóm tắt trang web
Dùng ví dụ tiện ích Chrome để tóm tắt bài đang đọc bằng mô hình chạy cục bộ.
Giảng viên, sinh viên
Dạy và demo AI trên lớp
Mở trang chat demo trên máy phòng học để cho thấy AI chạy ngay trong trình duyệt, không cần cài đặt.
Startup, freelancer
Nguyên mẫu nhanh cho ứng dụng AI
Dựng thử một ý tưởng ứng dụng AI chỉ bằng front-end trước khi đầu tư hạ tầng.
Cần chuẩn bị gì?
- Trình duyệt hỗ trợ WebGPU, tài liệu MLC gợi ý dùng Google Chrome bản mới nhất.
- Card đồ hoạ hoặc GPU tích hợp đủ khoẻ; mô hình càng lớn càng cần nhiều bộ nhớ đồ hoạ.
- Có Internet cho lần tải mô hình đầu tiên, sau đó mô hình được lưu cache trong trình duyệt.
- Muốn nhúng vào dự án cần Node.js và npm, yarn hoặc pnpm.
Hướng dẫn cài đặt chi tiết
Cài trên Thử ngay trên web
Mở trang demo bằng Chrome hoặc trình duyệt có WebGPU. Chọn một mô hình nhỏ trước để tải nhanh.
https://chat.webllm.ai/Chờ trang tải mô hình. Lần đầu có thể mất vài phút tuỳ mạng, lần sau dùng bản đã lưu.
Gõ câu hỏi và chat. Có thể kiểm tra trình duyệt hỗ trợ WebGPU bằng trang WebGPU Report mà tài liệu MLC nhắc tới.
Cài trên npm
Trong thư mục dự án web của bạn, cài gói WebLLM.
npm install @mlc-ai/web-llmHoặc dùng yarn hay pnpm nếu dự án đang dùng chúng.
yarn add @mlc-ai/web-llm pnpm install @mlc-ai/web-llmNhập module và tạo engine với một mô hình có trong danh sách. Đây là ví dụ lấy từ README.
import { CreateMLCEngine } from "@mlc-ai/web-llm"; const engine = await CreateMLCEngine("Llama-3.1-8B-Instruct-q4f32_1-MLC", { initProgressCallback: (p) => console.log(p), });
Cài trên CDN
Để thử nhanh trên JSFiddle hoặc CodePen, nhập thẳng từ CDN trong mã JavaScript.
import * as webllm from "https://esm.run/@mlc-ai/web-llm";
Dùng thử lần đầu
Mở chat.webllm.ai, chọn một mô hình nhỏ và chờ tải xong.
Gõ một câu tiếng Việt, ví dụ nhờ tóm tắt đoạn tin nhắn dài, để xem mô hình trả lời ngay trong trình duyệt.
Tắt mạng rồi tải lại trang để xem mô hình đã lưu cache còn chạy không, nếu trình duyệt giữ được bản đã tải.
Với lập trình viên, làm theo ví dụ chatbot trên JSFiddle hoặc CodePen trong README, rồi xem thư mục examples để thấy streaming, JSON mode và Web Worker.
Mẹo dùng hay
- Cho phần tính toán chạy trong Web Worker hoặc Service Worker để trang web không bị đơ khi mô hình đang suy nghĩ.
- Hiển thị thanh tiến trình bằng initProgressCallback, vì lần tải đầu có thể lâu và người dùng cần biết trang không bị treo.
- Chọn mô hình nhỏ cho ứng dụng thực tế; mô hình 8 tỷ tham số sẽ khiến nhiều máy khách chạy rất nặng hoặc không chạy được.
Lưu ý và hạn chế
- Chất lượng chỉ ngang mô hình nhỏ chạy cục bộ, không so được với dịch vụ AI trên đám mây ở bài khó hoặc tiếng Việt phức tạp.
- Người dùng phải tải mô hình rất nặng lần đầu và máy phải đủ khoẻ; điện thoại cũ hoặc máy văn phòng cũ có thể không chạy được.
- Danh sách mô hình tích hợp sẵn chỉ là một phần các mô hình MLC; cần mô hình khác thì phải xin bổ sung hoặc tự biên dịch.
Câu hỏi thường gặp
WebLLM có miễn phí không?
Có, mã nguồn mở theo giấy phép Apache 2.0, và việc suy luận chạy trên máy người dùng nên bạn không trả phí gọi API.
Dữ liệu chat có bị gửi lên máy chủ không?
README nêu mọi thứ chạy trong trình duyệt, không cần máy chủ hỗ trợ suy luận. Chỉ bước tải mô hình mới cần mạng; ứng dụng bạn tự viết vẫn có thể gửi dữ liệu đi nếu bạn lập trình như vậy.
Cần cài phần mềm gì để thử?
Không cần cài gì nếu chỉ thử trang demo, chỉ cần trình duyệt hỗ trợ WebGPU. Muốn làm sản phẩm thì dùng gói npm.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/mlc-ai/web-llm.gitRepo tương tự nên xem
MLC LLM
mlc-ai / mlc-llm
Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
NextChat (ChatGPT Next Web)
ChatGPTNextWeb / NextChat
Giao diện chat AI gọn nhẹ, tự dựng bằng khoá API của bạn, có sẵn bản máy tính, web và iOS