Trải nghiệm khi dùng gpt-oss
Nếu bạn đã có Ollama, trải nghiệm gần như chỉ là hai lệnh: ollama pull gpt-oss:20b rồi ollama run gpt-oss:20b. Mô hình tải về một lần, sau đó bạn chat trong Terminal (cửa sổ gõ lệnh) hoặc gắn vào các giao diện như Open WebUI. Người ưa bấm chuột có thể dùng LM Studio, README cũng đưa lệnh lms get openai/gpt-oss-20b.
Điểm khác so với nhiều mô hình chat thông thường là mô hình có mức nỗ lực suy luận thấp, trung bình hoặc cao, và cho phép xem toàn bộ chuỗi suy nghĩ để gỡ lỗi. README lưu ý phần suy nghĩ này không dành để hiển thị cho người dùng cuối. Mô hình bắt buộc dùng định dạng harmony; các công cụ như Ollama, LM Studio hay chat template của Transformers lo phần này giúp bạn.
Bản 120b là chuyện của doanh nghiệp: README ghi vừa một GPU 80 GB như H100 hoặc MI300X. Với đa số người dùng ở nhà, hãy bắt đầu từ 20b, và nhớ các bản triển khai PyTorch, Triton, Metal trong repo là mã tham chiếu cho giáo dục, không dành cho sản xuất.
Tính năng nổi bật
Hai kích cỡ rõ ràng
gpt-oss-20b (21 tỷ tham số, 3,6 tỷ hoạt động) cho độ trễ thấp và dùng cục bộ; gpt-oss-120b (117 tỷ tham số, 5,1 tỷ hoạt động) cho suy luận mạnh hơn trên máy chủ.
Điều chỉnh mức suy luận
Chọn thấp, trung bình hoặc cao tuỳ việc cần nhanh hay cần suy nghĩ kỹ.
Khả năng agent có sẵn
Hỗ trợ gọi hàm, duyệt web, chạy mã Python và đầu ra có cấu trúc.
Nén MXFP4 để chạy gọn
Trọng số phần MoE nén MXFP4 giúp bản 120b vừa một GPU 80 GB và bản 20b chạy trong khoảng 16 GB bộ nhớ.
Giấy phép Apache 2.0
Dùng thoải mái cho thử nghiệm, tuỳ biến và triển khai thương mại, không bị ràng buộc copyleft.
Tinh chỉnh được
Có thể fine-tune toàn bộ tham số để làm trợ lý chuyên ngành riêng.
Tận dụng gpt-oss vào việc gì?
Dân văn phòng, người làm nội dung
Trợ lý AI riêng chạy trên máy
Chạy bản 20b để tóm tắt, viết lại và soạn nháp văn bản mà không gửi dữ liệu lên dịch vụ đám mây.
Sinh viên, người học
Hỏi đáp và lập luận nhiều bước
Đặt mức suy luận cao để giải bài toán, phân tích tình huống từng bước rồi tự kiểm chứng.
Lập trình viên, đội vận hành
Làm động cơ cho agent và tự động hoá
Dùng khả năng gọi hàm và chạy Python để dựng quy trình xử lý đơn hàng, báo cáo tự động.
IT doanh nghiệp
Máy chủ AI nội bộ công ty
Triển khai 120b bằng vLLM trên GPU 80 GB để cả phòng dùng chung, dữ liệu không rời mạng nội bộ.
Đội AI
Tinh chỉnh theo lĩnh vực
Huấn luyện thêm cho từ vựng chuyên ngành như kế toán, y khoa, pháp lý (cần đánh giá chất lượng kỹ trước khi dùng).
Cần chuẩn bị gì?
- gpt-oss-20b: README ghi chạy trong khoảng 16 GB bộ nhớ.
- gpt-oss-120b: vừa một GPU 80 GB như NVIDIA H100 hoặc AMD MI300X.
- Cách dễ nhất: Ollama hoặc LM Studio, cài trên Windows, macOS hay Linux.
- Triển khai bằng vLLM cần Python, công cụ uv và GPU; bản tham chiếu PyTorch của repo cần ít nhất 4 GPU H100.
Hướng dẫn cài đặt chi tiết
Cài trên Ollama
Cài Ollama từ trang chính thức nếu chưa có, rồi mở Terminal hoặc PowerShell.
https://ollama.com/downloadTải bản 20b về máy (dung lượng lớn nên hãy chắc chắn ổ cứng còn chỗ), rồi chạy.
ollama pull gpt-oss:20b ollama run gpt-oss:20bChỉ khi có GPU 80 GB trở lên mới nên thử bản 120b.
ollama pull gpt-oss:120b ollama run gpt-oss:120b
Cài trên LM Studio
Cài LM Studio từ trang chính thức.
https://lmstudio.ai/Dùng công cụ dòng lệnh lms của LM Studio để tải mô hình (bạn cũng có thể tìm trong giao diện ứng dụng).
lms get openai/gpt-oss-20b
Cài trên vLLM (máy chủ)
Dành cho máy chủ Linux có GPU. README khuyên dùng uv để cài; lệnh sau dùng bản vLLM dành cho gpt-oss như trong tài liệu hiện tại, bạn nên kiểm tra phiên bản mới ở cookbook của OpenAI.
uv pip install --pre vllm==0.10.1+gptoss \ --extra-index-url https://wheels.vllm.ai/gpt-oss/ \ --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \ --index-strategy unsafe-best-matchKhởi động máy chủ tương thích OpenAI, lệnh tự tải mô hình.
vllm serve openai/gpt-oss-20b
Dùng thử lần đầu
Chạy mô hình 20b bằng Ollama và đợi tải xong.
ollama run gpt-oss:20bHỏi thử bằng tiếng Việt: Giải thích thuế GTGT cho chủ shop mới bán online trong 5 gạch đầu dòng. Hãy tự đối chiếu số liệu với nguồn chính thức vì mô hình có thể sai.
Thử một bài lập luận như: Một cửa hàng giảm giá 20 phần trăm rồi tăng lại 20 phần trăm, giá cuối thay đổi thế nào? và xem cách mô hình trình bày.
Thoát bằng /bye rồi xem dung lượng mô hình đã tải bằng ollama list; xoá bằng ollama rm khi không dùng nữa.
ollama list
Mẹo dùng hay
- Bắt đầu với 20b; chỉ xem xét 120b khi bạn thực sự có GPU 80 GB.
- Nếu tự dùng Transformers hay vLLM, hãy dùng chat template hoặc thư viện openai-harmony để đúng định dạng, nếu không mô hình trả lời sai.
- Xem danh sách awesome-gpt-oss.md trong repo để tìm công cụ, đối tác chạy mô hình.
- Cookbook của OpenAI có hướng dẫn riêng cho Transformers, vLLM và Ollama, hữu ích khi lệnh thay đổi theo phiên bản.
Lưu ý và hạn chế
- Mô hình bắt buộc dùng định dạng harmony; dùng sai định dạng thì mô hình sẽ không hoạt động đúng.
- Chuỗi suy nghĩ đầy đủ không dành cho người dùng cuối, README khuyến cáo không hiển thị cho khách hàng.
- README không nói gì về chất lượng tiếng Việt; hãy tự thử trên nội dung của bạn trước khi dùng cho việc quan trọng.
- Các bản triển khai PyTorch, Triton, Metal trong repo là mã tham chiếu, README ghi rõ không dành cho sản xuất.
Câu hỏi thường gặp
gpt-oss miễn phí và chạy offline được không?
Có, trọng số công khai dưới giấy phép Apache 2.0 nên tải và chạy miễn phí; sau khi tải xong, bạn có thể chạy offline bằng Ollama hoặc LM Studio.
Máy tôi cần cấu hình thế nào?
Bản 20b theo README chạy trong khoảng 16 GB bộ nhớ, bản 120b cần một GPU 80 GB. Với máy ít hơn 16 GB, nên chọn các mô hình nhỏ khác.
Khác gì ChatGPT?
gpt-oss là mô hình mở chạy trên máy bạn nên giữ dữ liệu nội bộ, nhưng không phải sản phẩm ChatGPT và không có sẵn các tiện ích của ChatGPT; chất lượng cũng cần tự đánh giá.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/openai/gpt-oss.gitRepo tương tự nên xem
Ollama
ollama / ollama
Tải và chạy mô hình AI như Gemma, Qwen, DeepSeek ngay trên máy tính của bạn chỉ với một lệnh
Qwen3
QwenLM / Qwen3
Dòng mô hình AI mở của Alibaba Qwen, nhiều cỡ từ 0,6 tỷ đến 235 tỷ tham số, chạy được trên laptop qua Ollama
llama.cpp
ggml-org / llama.cpp
Động cơ chạy mô hình AI viết bằng C/C++, nhẹ, chạy được trên CPU, card đồ hoạ và máy Mac