Chuyển đến nội dung

mlc-ai / web-llm

WebLLM

Chạy mô hình AI ngay trong trình duyệt nhờ WebGPU, không cần máy chủ, không cần cài phần mềm

WebLLM là thư viện JavaScript giúp chạy mô hình ngôn ngữ trực tiếp trong trình duyệt, tăng tốc bằng WebGPU (công nghệ cho web dùng card đồ hoạ). Mọi thứ diễn ra trên máy người dùng nên không cần máy chủ AI. Nó tương thích OpenAI API, phù hợp cho lập trình viên web muốn tích hợp chat AI riêng tư, và cũng có trang chat demo cho người bình thường thử.

  • 19.380 sao
  • 1.412 fork
  • TypeScript
  • Cập nhật hôm qua
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Vừa Cần gõ vài lệnh hoặc dùng Docker
Dạng
Thư viện lập trình, Web tự cài (self-host)
Chạy trên
Web, Node.js
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng WebLLM

Cách nhanh nhất để thấy WebLLM là mở trang chat demo chat.webllm.ai bằng trình duyệt hỗ trợ WebGPU. Bạn chọn một mô hình, trang tải trọng số về trình duyệt rồi bạn chat ngay trong tab, không cần tạo tài khoản hay cài thêm ứng dụng. Lần đầu tải khá lâu vì mô hình nặng, các lần sau được lưu cache nên nhanh hơn.

Với lập trình viên web, WebLLM là gói npm. Bạn gọi hàm tạo engine với tên mô hình, hiện thanh tiến trình trong lúc tải, rồi gọi chat completions giống hệt OpenAI, kể cả streaming (chữ chạy ra từng dòng). Có thể đặt việc tính toán trong Web Worker để giao diện không bị đơ.

Bù lại cho sự tiện lợi là giới hạn của trình duyệt: cần máy có WebGPU và card đồ hoạ đủ khoẻ, mô hình phải nhỏ, và người dùng phải tải vài trăm MB đến vài GB lần đầu. Hợp nhất với ứng dụng web ưu tiên riêng tư hoặc muốn giảm chi phí gọi API.

Tính năng nổi bật

Chạy hoàn toàn trong trình duyệt

Không có máy chủ xử lý AI, dữ liệu người dùng gõ vào không phải gửi đi đâu, tăng tốc bằng WebGPU.

Tương thích OpenAI API

Hỗ trợ streaming, chế độ JSON, đặt seed; code gọi OpenAI có thể chuyển sang với thay đổi nhỏ.

Sinh JSON có cấu trúc

Ép mô hình trả về JSON theo schema, hữu ích khi cần trích thông tin thành dữ liệu.

Nhiều họ mô hình

Hỗ trợ Llama, Phi, Gemma, Mistral, Qwen và có thể nạp mô hình tự biên dịch theo định dạng MLC.

Web Worker và tiện ích Chrome

Chạy tính toán ở luồng riêng cho giao diện mượt, và có ví dụ làm tiện ích Chrome dùng WebLLM.

Dễ nhúng

Cài bằng npm, yarn, pnpm hoặc nhập thẳng từ CDN, kèm nhiều ví dụ trong thư mục examples.

Tận dụng WebLLM vào việc gì?

Lập trình viên web

Thêm trợ lý AI riêng tư vào trang web

Cho khách hỏi đáp ngay trên trang mà không cần trả phí API hay gửi nội dung cho bên thứ ba.

Người làm sản phẩm

Công cụ viết lại, dịch văn bản trong trình duyệt

Làm trang nhỏ để người dùng dán văn bản và nhờ mô hình chỉnh sửa, văn bản không rời khỏi máy.

Lập trình viên tiện ích

Tiện ích trình duyệt tóm tắt trang web

Dùng ví dụ tiện ích Chrome để tóm tắt bài đang đọc bằng mô hình chạy cục bộ.

Giảng viên, sinh viên

Dạy và demo AI trên lớp

Mở trang chat demo trên máy phòng học để cho thấy AI chạy ngay trong trình duyệt, không cần cài đặt.

Startup, freelancer

Nguyên mẫu nhanh cho ứng dụng AI

Dựng thử một ý tưởng ứng dụng AI chỉ bằng front-end trước khi đầu tư hạ tầng.

Cần chuẩn bị gì?

  • Trình duyệt hỗ trợ WebGPU, tài liệu MLC gợi ý dùng Google Chrome bản mới nhất.
  • Card đồ hoạ hoặc GPU tích hợp đủ khoẻ; mô hình càng lớn càng cần nhiều bộ nhớ đồ hoạ.
  • Có Internet cho lần tải mô hình đầu tiên, sau đó mô hình được lưu cache trong trình duyệt.
  • Muốn nhúng vào dự án cần Node.js và npm, yarn hoặc pnpm.

Hướng dẫn cài đặt chi tiết

Cài trên Thử ngay trên web

  1. Mở trang demo bằng Chrome hoặc trình duyệt có WebGPU. Chọn một mô hình nhỏ trước để tải nhanh.

    Văn bản
    https://chat.webllm.ai/
  2. Chờ trang tải mô hình. Lần đầu có thể mất vài phút tuỳ mạng, lần sau dùng bản đã lưu.

  3. Gõ câu hỏi và chat. Có thể kiểm tra trình duyệt hỗ trợ WebGPU bằng trang WebGPU Report mà tài liệu MLC nhắc tới.

Cài trên npm

  1. Trong thư mục dự án web của bạn, cài gói WebLLM.

    Terminal
    npm install @mlc-ai/web-llm
  2. Hoặc dùng yarn hay pnpm nếu dự án đang dùng chúng.

    Terminal
    yarn add @mlc-ai/web-llm
    pnpm install @mlc-ai/web-llm
  3. Nhập module và tạo engine với một mô hình có trong danh sách. Đây là ví dụ lấy từ README.

    JavaScript
    import { CreateMLCEngine } from "@mlc-ai/web-llm";
    
    const engine = await CreateMLCEngine("Llama-3.1-8B-Instruct-q4f32_1-MLC", {
      initProgressCallback: (p) => console.log(p),
    });

Cài trên CDN

  1. Để thử nhanh trên JSFiddle hoặc CodePen, nhập thẳng từ CDN trong mã JavaScript.

    JavaScript
    import * as webllm from "https://esm.run/@mlc-ai/web-llm";

Dùng thử lần đầu

  1. Mở chat.webllm.ai, chọn một mô hình nhỏ và chờ tải xong.

  2. Gõ một câu tiếng Việt, ví dụ nhờ tóm tắt đoạn tin nhắn dài, để xem mô hình trả lời ngay trong trình duyệt.

  3. Tắt mạng rồi tải lại trang để xem mô hình đã lưu cache còn chạy không, nếu trình duyệt giữ được bản đã tải.

  4. Với lập trình viên, làm theo ví dụ chatbot trên JSFiddle hoặc CodePen trong README, rồi xem thư mục examples để thấy streaming, JSON mode và Web Worker.

Mẹo dùng hay

  • Cho phần tính toán chạy trong Web Worker hoặc Service Worker để trang web không bị đơ khi mô hình đang suy nghĩ.
  • Hiển thị thanh tiến trình bằng initProgressCallback, vì lần tải đầu có thể lâu và người dùng cần biết trang không bị treo.
  • Chọn mô hình nhỏ cho ứng dụng thực tế; mô hình 8 tỷ tham số sẽ khiến nhiều máy khách chạy rất nặng hoặc không chạy được.

Lưu ý và hạn chế

  • Chất lượng chỉ ngang mô hình nhỏ chạy cục bộ, không so được với dịch vụ AI trên đám mây ở bài khó hoặc tiếng Việt phức tạp.
  • Người dùng phải tải mô hình rất nặng lần đầu và máy phải đủ khoẻ; điện thoại cũ hoặc máy văn phòng cũ có thể không chạy được.
  • Danh sách mô hình tích hợp sẵn chỉ là một phần các mô hình MLC; cần mô hình khác thì phải xin bổ sung hoặc tự biên dịch.

Câu hỏi thường gặp

WebLLM có miễn phí không?

Có, mã nguồn mở theo giấy phép Apache 2.0, và việc suy luận chạy trên máy người dùng nên bạn không trả phí gọi API.

Dữ liệu chat có bị gửi lên máy chủ không?

README nêu mọi thứ chạy trong trình duyệt, không cần máy chủ hỗ trợ suy luận. Chỉ bước tải mô hình mới cần mạng; ứng dụng bạn tự viết vẫn có thể gửi dữ liệu đi nếu bạn lập trình như vậy.

Cần cài phần mềm gì để thử?

Không cần cài gì nếu chỉ thử trang demo, chỉ cần trình duyệt hỗ trợ WebGPU. Muốn làm sản phẩm thì dùng gói npm.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/mlc-ai/web-llm.git

Repo tương tự nên xem

Chạy AI trên máy cá nhân23,4K

MLC LLM

mlc-ai / mlc-llm

Công cụ biên dịch và chạy mô hình AI trên mọi loại card đồ hoạ, điện thoại và cả trình duyệt

KhóWindowsmacOSLinuxAndroid+2
Chạy AI trên máy cá nhân187K

Ollama

ollama / ollama

Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh

DễWindowsmacOSLinuxDocker
Trợ lý & chat AI89K

NextChat (ChatGPT Next Web)

ChatGPTNextWeb / NextChat

Giao diện chat AI gọn nhẹ, tự dựng bằng khoá API của bạn, có sẵn bản máy tính, web và iOS

VừaWindowsmacOSLinuxiOS+2

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Chạy AI trên máy cá nhân

Chạy AI trên máy cá nhân135K

llama.cpp

ggml-org / llama.cpp

Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac

VừaWindowsmacOSLinuxDocker
Chạy AI trên máy cá nhân97K

vLLM

vllm-project / vllm

Máy chủ chạy mô hình ngôn ngữ tốc độ cao cho card đồ hoạ, phục vụ nhiều người dùng cùng lúc

KhóLinuxPythonDocker
Chạy AI trên máy cá nhân50,4K

LocalAI

mudler / LocalAI

Máy chủ AI mã nguồn mở tự cài: chat, ảnh, giọng nói trong một API, chạy được cả khi không có GPU

VừaDockerLinuxmacOSWindows
Chạy AI trên máy cá nhân48,4K

exo

exo-explore / exo

Ghép nhiều máy Mac thành một cụm AI để chạy mô hình lớn hơn một máy đơn lẻ chứa nổi

KhómacOSLinuxPython
Chạy AI trên máy cá nhân38,9K

SGLang

sgl-project / sglang

Framework phục vụ mô hình ngôn ngữ và đa phương thức hiệu năng cao, tối ưu cho agent và hệ thống lớn

KhóDockerPythonLinux
Chạy AI trên máy cá nhân29,2K

MLX

ml-explore / mlx

Framework học máy của Apple cho chip Apple silicon, dùng như NumPy nhưng chạy nhanh trên GPU của Mac

KhómacOSLinuxPython

Xem cả 18 repo Chạy AI trên máy cá nhân Về Kho Repo