Bạn muốn hỏi AI về hợp đồng nội bộ, nhờ AI chép lời một buổi họp hay vẽ vài ảnh minh hoạ, nhưng không muốn dữ liệu rời khỏi máy? Chạy AI offline trên máy tính là cách làm ngày càng phổ biến, và giờ đã có những bộ công cụ gom gần như mọi thứ vào một thư mục: trò chuyện với mô hình ngôn ngữ, tạo ảnh, chuyển giọng nói thành chữ và đọc văn bản thành giọng nói.
Một ví dụ đáng chú ý là dự án mã nguồn mở Portable AI Studio (tên kho cũ là Uncensored AI Studio) trên GitHub. Bài này dùng dự án đó làm ví dụ để giải thích AI cục bộ hoạt động ra sao, máy cần cấu hình thế nào, người dùng Việt dùng được đến đâu, và những rủi ro bạn nên biết trước khi tải mô hình về.
Câu trả lời ngắn: chạy AI offline là tải mô hình AI về và để máy tính của bạn tự tính toán, không gửi dữ liệu lên máy chủ. Máy có 8–16 GB RAM đã chạy được mô hình ngôn ngữ cỡ 7 tỷ tham số ở mức nén vừa phải. Đổi lại, mô hình nhỏ hơn dịch vụ đám mây nên trả lời kém hơn, và bạn tự chịu trách nhiệm về nguồn tải.
Tóm tắt nhanh
- Portable AI Studio gom 4 loại AI: trò chuyện (llama.cpp), tạo ảnh (stable-diffusion.cpp), giọng nói thành chữ (whisper.cpp), chữ thành giọng nói (Kokoro-82M).
- Không cần cài đặt, chạy trên Windows 10/11 64-bit, Linux mới và Mac chip Apple; lần đầu cần mạng để tự tải thành phần.
- Mô hình 7B nén mức Q4_K_M nặng khoảng 4 GB, cần khoảng 6,6 GB RAM khi chạy bằng CPU.
- Nhận dạng giọng nói tiếng Việt được, nhưng giọng đọc Kokoro chưa có tiếng Việt.
- Mô hình “bỏ kiểm duyệt” chỉ gỡ cơ chế từ chối, không thông minh hơn, và đặt toàn bộ trách nhiệm lên người dùng.
Nội dung chính
- AI offline là gì, khác AI đám mây ở đâu?
- Bốn loại AI trong một thư mục
- Máy tính chạy AI cục bộ như thế nào?
- Cần cấu hình bao nhiêu?
- Người dùng Việt dùng được đến đâu?
- Chạy từ USB được không?
- Mô hình “bỏ kiểm duyệt” và vì sao nên dè chừng
- An toàn khi tải mô hình về máy
- Dùng AI trên máy riêng có cần tuân thủ luật?
- Hiểu lầm phổ biến
- 6 bước chạy AI offline an toàn
- Câu hỏi thường gặp
AI offline là gì, khác AI đám mây ở đâu?
Khi bạn dùng ChatGPT, Gemini hay Claude, câu hỏi của bạn được gửi qua mạng tới trung tâm dữ liệu. Ở đó, những mô hình khổng lồ chạy trên hàng nghìn chip tăng tốc rồi trả kết quả về. Đó là AI đám mây: máy của bạn chỉ là màn hình hiển thị.
AI offline, hay AI cục bộ (local AI), đảo ngược mô hình này. Bạn tải tệp mô hình về ổ cứng, và chính CPU, GPU trong máy bạn làm toàn bộ việc tính toán. Hãy hình dung sự khác nhau giữa gọi món qua ứng dụng giao đồ ăn và tự nấu ở nhà: tự nấu thì không ai biết bạn ăn gì, nhưng bếp nhà bạn phải đủ lớn và món sẽ không cầu kỳ bằng nhà hàng.
Lợi ích lớn nhất là dữ liệu không phải rời máy. Tài liệu nội bộ, ghi âm cuộc họp hay ảnh cá nhân được xử lý tại chỗ. Bạn cũng không cần tài khoản, không tốn phí theo tháng và vẫn dùng được khi mất mạng. Nhược điểm là mô hình chạy được trên máy cá nhân thường nhỏ hơn nhiều so với mô hình của các hãng lớn, nên khả năng suy luận, viết lách và kiến thức đều thua kém. Nếu bạn muốn hiểu vì sao chip đồ hoạ lại quan trọng đến vậy, bài GPU là gì và vì sao GPU chạy được AI giải thích khá chi tiết.
Bốn loại AI trong một thư mục
Trước đây, muốn chạy AI cục bộ, bạn thường phải cài riêng từng thứ: một phần mềm để trò chuyện, một phần mềm khác để vẽ ảnh, thêm công cụ chép lời. Portable AI Studio gom bốn chức năng này vào một giao diện web duy nhất, mở trong trình duyệt tại địa chỉ localhost:1420 trên chính máy bạn. Dự án dùng giấy phép MIT, còn các tệp mô hình đi theo giấy phép riêng của từng tác giả.
- Trò chuyện: chạy mô hình ngôn ngữ ở định dạng GGUF bằng llama.cpp, bộ máy suy luận phổ biến nhất cho AI cục bộ.
- Tạo ảnh: dùng stable-diffusion.cpp, nhận mô hình Stable Diffusion 1.5 và SDXL dạng một tệp (.safetensors, .gguf, .ckpt). Các dòng như Flux hay Qwen Image cần nhiều tệp rời nên chưa được hỗ trợ.
- Giọng nói thành chữ: dùng whisper.cpp, bản viết lại gọn nhẹ của mô hình Whisper do OpenAI công bố.
- Chữ thành giọng nói: dùng Kokoro-82M, mô hình đọc văn bản chỉ 82 triệu tham số, giấy phép Apache 2.0.
Điểm hay là phần Models cho phép dán đường dẫn Hugging Face để tải mô hình hoặc kéo thả tệp có sẵn. Giao diện còn có bảng theo dõi CPU, RAM, GPU và VRAM theo thời gian thực, cùng thư viện lưu ảnh đã tạo kèm toàn bộ tham số. Để đỡ tốn bộ nhớ, khu vực tạo ảnh và khu vực trò chuyện được thiết kế chạy luân phiên chứ không cùng lúc.
Đến ngày 7/11/2026, kho mã của dự án có khoảng 1.300 lượt gắn sao và hơn 300 bản sao (fork). Đây là con số khá cho một dự án cá nhân, nhưng chưa phải sản phẩm của một công ty lớn có đội hỗ trợ.
Máy tính chạy AI cục bộ như thế nào?
Một mô hình ngôn ngữ về bản chất là một tệp rất lớn chứa hàng tỷ con số gọi là trọng số (weights). Mỗi lần trả lời, máy nhân các con số này với nhau theo từng lớp để đoán từ tiếp theo, rồi lặp lại cho đến khi xong câu. Đoán một từ cần hàng tỷ phép tính, nên GPU với hàng nghìn nhân xử lý song song nhanh hơn CPU rất nhiều.
Khi khởi động, công cụ tự nhận diện phần cứng để chọn “đường tăng tốc” phù hợp:
- CUDA cho card Nvidia.
- ROCm hoặc Vulkan cho card AMD; Vulkan cho card Intel Arc.
- Metal cho Mac dùng chip Apple.
- OpenVINO cho bộ xử lý thần kinh (NPU) trên chip Intel Core Ultra, hiện chỉ trên Linux.
- Không có GPU phù hợp thì chạy bằng CPU, chậm hơn nhưng vẫn được.
Còn GGUF là định dạng tệp do cộng đồng llama.cpp phát triển, gói toàn bộ mô hình vào một tệp và hỗ trợ lượng tử hoá (quantization). Lượng tử hoá giống như nén ảnh JPEG: thay vì lưu mỗi trọng số bằng 16 bit, ta lưu bằng 4–8 bit. Tệp nhỏ đi vài lần, tốc độ nhanh hơn, đổi lại độ chính xác giảm nhẹ. Đó là lý do một mô hình gốc nặng hơn chục GB có thể chạy trên laptop phổ thông.
Cần cấu hình bao nhiêu?
Bộ nhớ là yếu tố quyết định. Mô hình phải nằm vừa trong RAM (nếu chạy bằng CPU) hoặc VRAM của card đồ hoạ (nếu chạy bằng GPU). Không vừa VRAM thì phần dư được đẩy sang RAM, chạy chậm hơn. Lấy ví dụ mô hình Llama 2 cỡ 7 tỷ tham số ở định dạng GGUF:
Như vậy, máy có 8 GB RAM chạy được mô hình 7B mức Q4 nhưng sẽ khá chật khi mở thêm trình duyệt và ứng dụng khác; 16 GB thoải mái hơn nhiều. Tạo ảnh SDXL nặng hơn Stable Diffusion 1.5 đáng kể, nên nếu card đồ hoạ chỉ có 4–6 GB VRAM, bạn nên bắt đầu với SD 1.5. Một yếu tố khác cũng ảnh hưởng bộ nhớ là độ dài cuộc trò chuyện, phần này được giải thích trong bài cửa sổ ngữ cảnh là gì.
| Hệ điều hành | Yêu cầu | Cách khởi động |
|---|---|---|
| Windows | Windows 10 hoặc 11 bản 64-bit | Nhấp đúp tệp windows.bat |
| Linux | glibc 2.38 trở lên (ví dụ Ubuntu 24.04) | Chạy linux.sh trong Terminal |
| macOS | Chỉ máy chip Apple (M1 trở lên), không hỗ trợ Mac chip Intel | Chạy mac.sh trong Terminal |
Lần chạy đầu tiên, tập lệnh tự tải bản Node.js chạy độc lập và các thành phần tăng tốc phù hợp với card đồ hoạ, nên bạn cần kết nối mạng ở bước này. Từ lần sau, mọi thứ có thể chạy không cần Internet.
Người dùng Việt dùng được đến đâu?
Giao diện của công cụ hiện bằng tiếng Anh, nhưng điều quan trọng hơn là từng mô hình có hiểu tiếng Việt hay không. Câu trả lời khác nhau cho từng chức năng.
Whisper nhận dạng được tiếng Việt, nên bạn có thể chép lời buổi họp, bài giảng hay phỏng vấn mà không tải tệp ghi âm lên dịch vụ nào. Mô hình Whisper càng lớn thì càng chính xác với giọng địa phương và từ chuyên ngành, nhưng cũng chạy chậm hơn. Ngược lại, Kokoro-82M hiện có giọng đọc cho tiếng Anh Mỹ, Anh, Nhật, Trung, Tây Ban Nha, Pháp, Hindi, Ý và Bồ Đào Nha (Brazil), chưa có tiếng Việt.
Với trò chuyện, khả năng tiếng Việt phụ thuộc hoàn toàn vào mô hình bạn tải. Các dòng mô hình đa ngôn ngữ thường xử lý tiếng Việt tạm ổn, nhưng mô hình nhỏ dễ sai chính tả, lẫn từ hoặc trả lời cứng. Tiếng Việt cũng thường “tốn” nhiều token hơn tiếng Anh cho cùng một nội dung, nên chạy chậm hơn một chút; bài tiếng Việt tốn token hơn tiếng Anh có số đo cụ thể. Mô hình tạo ảnh Stable Diffusion được huấn luyện chủ yếu với mô tả tiếng Anh, nên viết câu lệnh bằng tiếng Anh sẽ cho kết quả sát ý hơn.
Chạy từ USB được không?
Dự án được giới thiệu là “mang đi được” (portable): Node.js, bộ máy tăng tốc và mô hình đều nằm trong một thư mục, không cài vào hệ thống, không sửa biến môi trường. Về lý thuyết, bạn có thể chép cả thư mục sang ổ cứng ngoài hay USB rồi mở trên máy khác. Ảnh chụp màn hình của chính dự án cũng dùng câu mẫu nói rằng nó đang chạy từ ổ USB.
Tuy vậy, tài liệu hướng dẫn chính thức không mô tả cách dùng với USB, và có vài điều thực tế cần lưu ý:
- Tốc độ nạp mô hình: tệp 4–7 GB đọc từ USB 2.0 hoặc USB giá rẻ sẽ rất lâu. Nên dùng ổ SSD gắn ngoài chuẩn USB 3.x trở lên.
- Thành phần tăng tốc theo máy: bản cho card Nvidia khác bản cho Mac chip Apple. Mang sang máy khác loại, công cụ có thể phải tải lại thành phần, tức là cần mạng.
- Định dạng ổ: USB định dạng FAT32 không chứa được tệp lớn hơn 4 GB, nên hãy dùng exFAT hoặc NTFS.
- Chính sách nơi làm việc: nhiều công ty chặn chạy phần mềm từ USB vì lý do an ninh; hãy hỏi bộ phận IT trước.
Mô hình “bỏ kiểm duyệt” và vì sao nên dè chừng
Tên cũ của dự án có chữ “Uncensored”, và cộng đồng AI cục bộ hay nhắc tới các mô hình “abliterated” hoặc “uncensored”. Đây là những mô hình mã nguồn mở đã bị chỉnh để không còn từ chối yêu cầu nữa. Cơ sở kỹ thuật của trào lưu này được mô tả trong nghiên cứu Refusal in Language Models Is Mediated by a Single Direction (Arditi và cộng sự, công bố tháng 6/2024, trình bày tại NeurIPS 2024).
Nhóm nghiên cứu phát hiện rằng trong 13 mô hình trò chuyện mã nguồn mở phổ biến, có kích thước tới 72 tỷ tham số, hành vi từ chối được điều khiển bởi một “hướng” duy nhất trong không gian tính toán bên trong mô hình. Xoá hướng đó đi, mô hình gần như không còn từ chối yêu cầu có hại; thêm hướng đó vào, mô hình lại từ chối cả yêu cầu vô hại. Phát hiện này giúp giới nghiên cứu hiểu cơ chế an toàn mong manh đến đâu, nhưng cũng bị dùng để tạo ra mô hình “bỏ kiểm duyệt” hàng loạt.
Với người dùng phổ thông, có ba điều cần hiểu rõ:
- Không thông minh hơn: thao tác này chỉ gỡ cơ chế từ chối, không bổ sung kiến thức.
- Không có lớp chặn: mô hình có thể sinh nội dung sai lệch, độc hại hoặc nguy hiểm mà không cảnh báo. Gia đình có trẻ em dùng chung máy càng cần cẩn trọng.
- Trách nhiệm thuộc về người dùng: không có nhà cung cấp nào đứng giữa. Bạn tự chịu trách nhiệm về nội dung tạo ra và cách sử dụng nó.
Nếu mục đích của bạn là riêng tư, mô hình mã nguồn mở thông thường của các hãng lớn đã đáp ứng tốt, không cần tìm bản “bỏ kiểm duyệt”. So sánh hai trường phái mô hình mở và đóng có trong bài mã nguồn mở và đóng trong AI.
An toàn khi tải mô hình về máy
AI cục bộ giữ dữ liệu của bạn trên máy, nhưng cũng có nghĩa bạn đang chạy phần mềm và tệp do người khác tạo ra. Rủi ro lớn nhất không nằm ở câu trả lời của AI, mà ở chính tệp mô hình.
Theo tài liệu bảo mật của Hugging Face về định dạng pickle, các tệp trọng số dạng pickle (thường gặp là .ckpt, .bin, .pt của PyTorch) có thể bị cài mã độc chạy ngay khi nạp mô hình. Hugging Face có quét tệp tải lên, nhưng chính họ thừa nhận việc quét không chắc chắn 100%. Định dạng safetensors được tạo ra để chỉ chứa dữ liệu trọng số, an toàn hơn nhiều. Portable AI Studio vẫn nhận tệp .ckpt cho tạo ảnh, nên bạn cần tự chọn đúng.
Một số nguyên tắc nên giữ:
- Tải công cụ từ kho GitHub gốc, không tải bản “đóng gói sẵn” trên các trang chia sẻ hay nhóm mạng xã hội.
- Tải mô hình từ tài khoản chính chủ của hãng hoặc người đóng gói có uy tín, xem số lượt tải và trao đổi bên dưới.
- Cảnh giác với “USB AI” bán sẵn: bạn không biết bên trong có gì ngoài lời quảng cáo.
- Chạy thử trên máy không chứa dữ liệu quan trọng nếu chưa chắc nguồn.
Dùng AI trên máy riêng có cần tuân thủ luật?
Có. Việt Nam đã có Luật Trí tuệ nhân tạo số 134/2025/QH15, được Quốc hội thông qua ngày 10/12/2025 và có hiệu lực từ ngày 1/3/2026. Chạy mô hình trên máy riêng không làm bạn đứng ngoài luật khi nội dung tạo ra được dùng hoặc chia sẻ.
Điều 7 của luật liệt kê các hành vi bị nghiêm cấm, trong đó có dùng AI để lừa dối, thao túng nhận thức và hành vi con người; tạo nội dung giả mạo gây nguy hại nghiêm trọng cho an ninh, trật tự xã hội; khai thác điểm yếu của trẻ em, người cao tuổi, người khuyết tật; che giấu hoặc làm sai lệch nhãn, cảnh báo bắt buộc liên quan đến AI. Luật cũng yêu cầu âm thanh, hình ảnh, video do AI tạo ra phải có dấu hiệu nhận biết phù hợp.
Với người dùng cá nhân, cách hiểu thực tế là: dùng AI offline để chép lời, soạn nháp, vẽ minh hoạ cho bản thân là bình thường. Nhưng khi đăng ảnh, giọng nói hay video do AI tạo lên mạng, bạn nên ghi rõ là nội dung AI, và tuyệt đối không dùng để giả mạo người khác.
Hiểu lầm phổ biến
AI offline nghe có vẻ là giải pháp hoàn hảo cho quyền riêng tư, nhưng có vài ngộ nhận khiến người mới thất vọng hoặc gặp rủi ro.
- “Offline là riêng tư tuyệt đối”: chỉ đúng khi bản thân phần mềm và mô hình đáng tin. Một tệp mô hình độc hại có thể làm lộ chính dữ liệu bạn muốn bảo vệ.
- “Máy nào cũng chạy mượt”: laptop văn phòng 8 GB RAM vẫn chạy được, nhưng với mô hình 7B chạy bằng CPU, chữ sẽ hiện ra chậm hơn hẳn so với dịch vụ đám mây.
- “Bỏ kiểm duyệt là thông minh hơn”: không, mô hình chỉ mất khả năng từ chối.
- “Cắm USB là chạy ngay”: lần đầu vẫn cần mạng để tải thành phần, và mỗi loại máy có thể cần bộ tăng tốc riêng.
6 bước chạy AI offline an toàn
Các bước dưới đây áp dụng cho Portable AI Studio và cả những ứng dụng AI cục bộ quen thuộc khác như LM Studio hay Ollama.
1. Xem cấu hình máy
Trên Windows, mở Task Manager, chọn thẻ Performance để xem dung lượng RAM và bộ nhớ GPU (Dedicated GPU memory). Ghi lại hai con số này để chọn mô hình phù hợp.
2. Tải từ trang chính chủ
Vào đúng kho GitHub của dự án, đọc kỹ phần README, đặc biệt mục yêu cầu hệ thống và xử lý lỗi. Tránh các bản đóng gói lại.
3. Chạy lần đầu khi có mạng
Giải nén vào một thư mục có đường dẫn ngắn, không dấu (ví dụ D:\AI), rồi chạy tập lệnh khởi động. Chờ công cụ tự tải xong thành phần tăng tốc.
4. Bắt đầu với mô hình nhỏ
Chọn mô hình 3–8 tỷ tham số ở mức nén Q4 để thử tốc độ trước. Máy chạy ổn rồi mới nâng lên mô hình lớn hơn hoặc mức nén cao hơn.
5. Ưu tiên tệp an toàn
Dùng .gguf cho trò chuyện và .safetensors cho tạo ảnh. Hạn chế .ckpt từ nguồn chưa rõ.
6. Kiểm chứng câu trả lời
Mô hình nhỏ dễ “bịa” thông tin hơn mô hình lớn. Với số liệu, luật, sức khoẻ hay tài chính, luôn đối chiếu với nguồn chính thức.
Câu hỏi thường gặp
Chạy AI offline có miễn phí không?
Phần mềm Portable AI Studio miễn phí theo giấy phép MIT, và phần lớn mô hình mã nguồn mở cũng tải miễn phí. Chi phí thực tế là phần cứng: RAM, card đồ hoạ, ổ cứng đủ chứa các tệp vài GB, cùng tiền điện khi máy chạy nặng trong thời gian dài.
Máy không có card đồ hoạ rời có chạy được không?
Được. Công cụ sẽ chạy bằng CPU, chậm hơn nhưng vẫn dùng được cho mô hình nhỏ và chép lời bằng Whisper. Tạo ảnh bằng CPU chậm hơn nhiều so với GPU, nên chỉ phù hợp để thử nghiệm.
AI offline có thay được ChatGPT không?
Chưa hoàn toàn. Mô hình chạy trên máy cá nhân nhỏ hơn nhiều nên kém hơn ở suy luận phức tạp, viết dài và kiến thức. AI offline hợp với việc cần riêng tư như tóm tắt tài liệu nội bộ, chép lời ghi âm hoặc dùng khi không có mạng.
Dùng mô hình “bỏ kiểm duyệt” có phạm luật không?
Bản thân việc tải mô hình là vùng xám, nhưng nội dung bạn tạo ra và cách dùng nó chịu sự điều chỉnh của pháp luật, gồm Luật Trí tuệ nhân tạo 134/2025/QH15. Dùng để lừa đảo, giả mạo hay tạo nội dung gây hại đều có thể bị xử lý.
Có cần Internet sau khi cài đặt không?
Lần chạy đầu cần mạng để tải Node.js và thành phần tăng tốc, sau đó là tải mô hình. Khi đã có đủ tệp trên máy, các chức năng trò chuyện, tạo ảnh, chép lời và đọc văn bản đều chạy được mà không cần kết nối.
Kết luận
Chạy AI offline trên máy tính giờ không còn là trò của dân kỹ thuật. Những bộ công cụ như Portable AI Studio cho thấy chỉ với một thư mục, bạn đã có thể trò chuyện, tạo ảnh, chép lời và đọc văn bản mà không gửi dữ liệu ra ngoài. Điều quan trọng là chọn mô hình vừa với máy, tải từ nguồn chính chủ, hiểu rằng “bỏ kiểm duyệt” không đồng nghĩa với “tốt hơn”, và nhớ rằng nội dung AI vẫn phải tuân thủ pháp luật khi đưa ra ngoài.
Bạn đã thử chạy AI trên máy mình chưa, và máy bạn chạy được mô hình cỡ nào? Hãy chia sẻ ở phần bình luận, và theo dõi Nhật Phúc để đọc thêm các bài giải thích công nghệ AI dễ hiểu.
