Câu trả lời ngắn: Cửa sổ ngữ cảnh (context window) là lượng token tối đa mà mô hình AI đọc được trong một lần xử lý, gồm chỉ dẫn hệ thống, lịch sử trò chuyện, tài liệu đính kèm và cả câu trả lời nó sắp viết. Vượt giới hạn này, phần cũ nhất bị cắt bỏ hoặc tóm tắt, nên AI “quên” đầu cuộc trò chuyện.

Giới hạn này bắt nguồn từ chính ý tưởng làm nên ChatGPT: cơ chế chú ý trong kiến trúc Transformer. Nếu bạn muốn hiểu cơ chế đó bằng câu đố con mèo và hàng rào, hãy xem video giải thích Attention và Transformer của kênh Vọc Sĩ trước khi đọc tiếp.

▶Xem video

Tóm tắt nhanh

• Cửa sổ ngữ cảnh đo bằng token, không phải số chữ hay số trang.
• Mỗi lượt hỏi, cửa sổ chứa cả chỉ dẫn ẩn, lịch sử trò chuyện, tài liệu và câu trả lời sắp viết.
• Cơ chế chú ý khiến chi phí tính toán tăng theo bình phương độ dài: dài gấp 10 lần, số cặp cần chấm điểm gấp 100 lần.
• Cửa sổ đã tăng từ khoảng 2.000 token (GPT-3, 2020) lên khoảng 1 triệu token (Gemini 1.5 Pro, 2024).
• Cửa sổ lớn không đồng nghĩa nhớ tốt: AI thường bỏ sót thông tin nằm ở giữa văn bản dài.
• Mở chat mới cho chủ đề mới và đặt yêu cầu chính ở đầu hoặc cuối là hai mẹo hiệu quả nhất.

Nội dung chính:

1. Cửa sổ ngữ cảnh là gì?
2. Những gì chiếm chỗ trong cửa sổ ngữ cảnh
3. Vì sao cửa sổ ngữ cảnh có giới hạn: lỗi của sự chú ý
4. Cửa sổ ngữ cảnh lớn lên thế nào qua các năm
5. Chuyện gì xảy ra khi vượt cửa sổ ngữ cảnh
6. Cửa sổ lớn chưa chắc nhớ tốt: hiện tượng lạc ở giữa
7. Nhồi hết vào cửa sổ hay dùng tra cứu RAG
8. Cửa sổ ngữ cảnh và tiếng Việt
9. 6 mẹo để AI không quên điều quan trọng
10. Hiểu lầm phổ biến về cửa sổ ngữ cảnh
11. Câu hỏi thường gặp

Cửa sổ ngữ cảnh là gì?

Hãy hình dung mô hình AI là một người làm việc trên một chiếc bàn có kích thước cố định. Mọi thứ cần để trả lời câu hỏi của bạn, từ lời dặn ban đầu, các câu đã trao đổi đến tài liệu bạn đưa, đều phải nằm gọn trên mặt bàn đó. Cửa sổ ngữ cảnh chính là kích thước mặt bàn. Bàn đầy thì muốn đặt tờ giấy mới lên, phải dọn bớt giấy cũ xuống.

Đơn vị đo của cửa sổ ngữ cảnh là token, tức các mảnh chữ mà AI dùng để đọc và viết. Một token có thể là một từ, một phần của từ hoặc một dấu câu. Với tiếng Anh, 1.000 token tương đương khoảng 750 từ; với tiếng Việt, cùng số token chứa được ít chữ hơn, phần sau sẽ nói rõ. Vì vậy khi một hãng công bố mô hình “128K context”, nghĩa là cửa sổ chứa khoảng 128.000 token, chẳng hạn như mô hình mã nguồn mở Gemma 3 của Google với cửa sổ 128K.

Điều quan trọng: mô hình không có trí nhớ nào khác ngoài cửa sổ này trong lúc trả lời. Những gì nằm ngoài cửa sổ, với nó, coi như chưa từng tồn tại.

Những gì chiếm chỗ trong cửa sổ ngữ cảnh

Nhiều người nghĩ cửa sổ chỉ chứa câu hỏi mình vừa gõ. Thực tế, mỗi lượt hỏi, ứng dụng chatbot gom bốn loại nội dung lại rồi gửi cho mô hình cùng một lúc.

Chỉ dẫn hệ thống

Đây là lời dặn ẩn do nhà cung cấp hoặc ứng dụng viết sẵn: vai trò của trợ lý, quy tắc an toàn, định dạng trả lời, danh sách công cụ được dùng. Bạn không thấy nó, nhưng nó luôn chiếm một phần mặt bàn.

Lịch sử trò chuyện

Mô hình không “nhớ” lượt trước theo kiểu con người. Mỗi lần bạn gửi tin mới, toàn bộ các lượt hỏi đáp trước đó được gửi kèm để mô hình đọc lại từ đầu. Cuộc trò chuyện càng dài, phần này càng phình to.

Tài liệu đính kèm

File PDF, bảng tính, đoạn mã, nội dung trang web mà bạn dán hoặc tải lên đều được chuyển thành token và đặt lên bàn. Một báo cáo 50 trang có thể chiếm vài chục nghìn token.

Câu trả lời sắp viết

Đây là phần hay bị quên. Mô hình viết câu trả lời từng token một, và mỗi token mới cũng phải nằm trong cửa sổ. Nhiều dịch vụ còn đặt riêng một giới hạn độ dài đầu ra, thấp hơn nhiều so với cửa sổ tổng.

Vì sao cửa sổ ngữ cảnh có giới hạn: lỗi của sự chú ý

Năm 2017, nhóm nghiên cứu của Google công bố bài báo “Attention Is All You Need”, giới thiệu kiến trúc Transformer. Chữ T trong GPT chính là Transformer. Trái tim của kiến trúc này là cơ chế chú ý (attention): khi đọc một chữ, mô hình nhìn lại mọi chữ khác trong ngữ cảnh và chấm điểm xem chữ nào liên quan nhất.

Video dùng câu đố “Con mèo không nhảy qua được hàng rào vì nó quá cao”. Khi gặp chữ “nó”, mô hình chấm điểm: “hàng rào” điểm cao, “con mèo” điểm thấp, vì “quá cao” gợi về vật. Đổi thành “vì nó quá mệt”, điểm số đảo chiều. Cách làm này cực kỳ hiệu quả, và nhờ nhìn cả câu cùng lúc, Transformer chạy song song được trên hàng nghìn nhân chip. Nhà sản xuất chip đồ hoạ hưởng lợi lớn từ đây, như Nhật Phúc đã giải thích trong bài GPU là gì và vì sao GPU chạy được AI.

Cái giá: tăng theo bình phương độ dài

Vấn đề nằm ở chữ “mọi”. Nếu ngữ cảnh có n token, mỗi token phải chấm điểm với n token, tức khoảng n × n phép chấm điểm cho mỗi đầu chú ý, ở mỗi lớp. Văn bản 1.000 token cần khoảng 1 triệu cặp; 10.000 token cần 100 triệu cặp; 100.000 token cần 10 tỷ cặp. Dài gấp 10 lần, khối lượng chấm điểm gấp 100 lần.

Đó là lý do cửa sổ ngữ cảnh không thể to vô hạn: bộ nhớ chip và thời gian tính toán sẽ không theo kịp. Các kỹ sư đã nghĩ ra nhiều cách giảm gánh nặng, như sắp xếp lại phép tính để tiết kiệm bộ nhớ (tiêu biểu là kỹ thuật FlashAttention), chỉ cho mỗi token chú ý tới một vùng lân cận, hay điều chỉnh cách mô hình đánh dấu vị trí token. Nhờ vậy cửa sổ mới lớn lên nhanh như hiện nay, nhưng chi phí vẫn tăng theo độ dài, nên nhà cung cấp vẫn phải đặt giới hạn.

Cửa sổ ngữ cảnh lớn lên thế nào qua các năm

Chỉ trong vài năm, cửa sổ ngữ cảnh đã lớn lên khoảng 500 lần. Dưới đây là các cột mốc tiêu biểu, số token được làm tròn.

Để dễ hình dung: 4.000 token là vài trang giấy, đủ cho một cuộc trò chuyện ngắn. 100.000 token chứa được cả một cuốn tiểu thuyết mỏng. Theo Google, 1 triệu token tương đương khoảng 700.000 từ tiếng Anh, hoặc khoảng 1 giờ video. Ngày nay, cửa sổ từ 128.000 token trở lên đã trở nên phổ biến, kể cả ở các mô hình mã nguồn mở chạy được trên máy cá nhân.

Chuyện gì xảy ra khi vượt cửa sổ ngữ cảnh

Khi tổng token vượt giới hạn, ứng dụng phải chọn bỏ bớt thứ gì đó. Mỗi sản phẩm làm một kiểu, và thường kết hợp nhiều cách.

Cắt bỏ phần cũ nhất

Cách đơn giản nhất là bỏ các lượt hỏi đầu tiên. Đây chính là lý do chatbot “quên” lời dặn bạn đưa ra từ đầu buổi. Lời dặn không biến mất khỏi màn hình của bạn, nhưng đã rơi khỏi mặt bàn của mô hình.

Tóm tắt lại

Một số ứng dụng tự tóm tắt phần cũ thành vài đoạn ngắn rồi đặt bản tóm tắt vào cửa sổ. Ý chính còn giữ được, nhưng chi tiết như con số, tên riêng, định dạng yêu cầu có thể mất.

Báo lỗi hoặc từ chối

Với tài liệu tải lên quá lớn, nhiều dịch vụ báo “nội dung quá dài” và yêu cầu bạn chia nhỏ. Khi gọi API, lập trình viên sẽ nhận lỗi vượt giới hạn token nếu không tự kiểm soát độ dài.

Cửa sổ lớn chưa chắc nhớ tốt: hiện tượng lạc ở giữa

Có cửa sổ 1 triệu token không có nghĩa mô hình tận dụng tốt cả 1 triệu token. Năm 2023, nhóm nghiên cứu do Nelson F. Liu dẫn đầu (Đại học Stanford và cộng sự) công bố nghiên cứu “Lost in the Middle”, tạm dịch là lạc ở giữa. Họ đặt một thông tin cần tìm ở các vị trí khác nhau trong một ngữ cảnh dài và đo xem mô hình trả lời đúng bao nhiêu.

Kết quả có hình chữ U: mô hình làm tốt nhất khi thông tin nằm ở đầu hoặc cuối ngữ cảnh, và kém đi rõ rệt khi thông tin nằm ở giữa. Con người cũng có hiện tượng gần giống, gọi là hiệu ứng vị trí: ta nhớ đầu và cuối danh sách tốt hơn phần giữa. Các mô hình đời mới đã cải thiện nhiều, nhưng bài học thực hành vẫn còn nguyên giá trị: đừng giấu yêu cầu quan trọng ở giữa một khối văn bản dài.

Ngoài ra, video cũng nhắc một điểm đáng nhớ: chú ý ở đây là phép tính dựa trên quy luật thống kê, không phải sự hiểu theo nghĩa của con người. Mô hình có thể chú ý sai chỗ mà vẫn trả lời với giọng rất tự tin, giống hiện tượng mà Nhật Phúc đã phân tích trong bài hộp đen AI là gì.

Nhồi hết vào cửa sổ hay dùng tra cứu RAG

Khi cần AI làm việc với kho tài liệu lớn (sổ tay nhân viên, hàng nghìn hợp đồng, toàn bộ tài liệu kỹ thuật của một sản phẩm), có hai chiến lược chính.

Nhồi cả tài liệu vào cửa sổ

Với cửa sổ đủ lớn, bạn có thể dán nguyên tài liệu vào và đặt câu hỏi. Cách này đơn giản, không cần cài đặt gì, và AI thấy được toàn cảnh. Nhược điểm: tốn nhiều token cho mỗi câu hỏi, trả lời chậm hơn, và dễ gặp hiện tượng lạc ở giữa.

Tra cứu rồi mới trả lời (RAG)

RAG (Retrieval-Augmented Generation, sinh câu trả lời có tra cứu) hoạt động như một thủ thư: trước khi trả lời, hệ thống tìm vài đoạn liên quan nhất trong kho tài liệu, rồi chỉ đặt những đoạn đó lên mặt bàn của mô hình. Cách này rẻ, nhanh và mở rộng được cho kho khổng lồ. Đổi lại, bạn phải dựng hệ thống tìm kiếm, và nếu tìm sai đoạn thì câu trả lời cũng sai theo.

Trong thực tế, nhiều doanh nghiệp kết hợp cả hai: dùng RAG để lọc ra vài chục trang liên quan, rồi tận dụng cửa sổ lớn để AI đọc kỹ những trang đó. Đây cũng là nền tảng của nhiều trợ lý AI nội bộ và quy trình tự động hoá văn phòng hiện nay.

Cửa sổ ngữ cảnh và tiếng Việt

Có một điểm riêng mà người dùng Việt nên biết: cùng một ý, câu tiếng Việt thường tốn nhiều token hơn câu tiếng Anh, vì bộ từ vựng của nhiều mô hình được xây chủ yếu từ dữ liệu tiếng Anh. Nhật Phúc đo bằng thư viện tiktoken của OpenAI (bộ tách o200k_base): câu “Trí tuệ nhân tạo đang thay đổi cách chúng ta làm việc mỗi ngày.” tốn 25 token, bản tiếng Anh cùng ý chỉ 11 token.

Hệ quả: với cùng một cửa sổ, tài liệu tiếng Việt chạm trần sớm hơn tài liệu tiếng Anh có cùng số trang, và cuộc trò chuyện tiếng Việt dài cũng “quên” sớm hơn. Bạn có thể đọc phân tích chi tiết kèm bảng đo trong bài tiếng Việt tốn token hơn tiếng Anh: đo thực tế và cách tối ưu.

6 mẹo để AI không quên điều quan trọng

Bạn không cần biết lập trình để quản lý cửa sổ ngữ cảnh. Sáu thói quen dưới đây áp dụng được cho ChatGPT, Gemini, Claude, Copilot và hầu hết chatbot khác.

1. Mỗi chủ đề một cuộc trò chuyện

Đang hỏi về kế hoạch du lịch mà chuyển sang sửa báo cáo? Hãy mở chat mới. Lịch sử không liên quan chỉ làm đầy bàn và có thể làm AI lẫn lộn bối cảnh.

2. Đặt yêu cầu chính ở đầu hoặc cuối

Khi dán tài liệu dài, viết yêu cầu ngay trước tài liệu, và nhắc lại ngắn gọn ở cuối. Tránh để câu hỏi quan trọng chìm giữa hàng chục trang văn bản.

3. Tóm tắt rồi mở chat mới

Khi cuộc trò chuyện đã dài, hãy nhờ AI “tóm tắt các quyết định và yêu cầu đã chốt”, rồi dán bản tóm tắt đó vào một cuộc trò chuyện mới. Bạn có một mặt bàn sạch mà vẫn giữ được bối cảnh.

4. Chỉ dán phần tài liệu cần thiết

Mục lục, phụ lục, chân trang lặp lại, bảng số liệu không liên quan đều tốn token. Cắt bỏ trước khi dán giúp AI tập trung hơn và trả lời nhanh hơn.

5. Nhắc lại ràng buộc quan trọng

Định dạng đầu ra, độ dài, đối tượng người đọc, giọng văn: nếu cuộc trò chuyện đã dài, hãy nhắc lại trong yêu cầu mới thay vì tin rằng AI còn nhớ lời dặn từ đầu.

6. Hỏi lại để kiểm tra

Trước khi tin vào bản tóm tắt một tài liệu dài, hãy hỏi thử vài chi tiết cụ thể, chẳng hạn “ý chính ở mục 4.2 là gì”. Nếu AI trả lời sai, có thể phần đó đã bị cắt khỏi cửa sổ hoặc bị lạc ở giữa.

Hiểu lầm phổ biến về cửa sổ ngữ cảnh

“Cửa sổ 1 triệu token nghĩa là AI nhớ mọi thứ về tôi”

Cửa sổ chỉ tồn tại trong một phiên xử lý. Hết phiên, mặt bàn được dọn sạch. Một số chatbot có thêm tính năng “bộ nhớ” lưu vài ghi chú về bạn, nhưng đó là cơ chế riêng: ứng dụng lưu ghi chú rồi chèn lại vào cửa sổ ở lần sau, chứ không phải cửa sổ ngữ cảnh tự kéo dài mãi.

“Đưa tài liệu vào cửa sổ là AI học luôn”

Không. Đọc tài liệu trong cửa sổ không làm thay đổi mô hình. Muốn mô hình thật sự học thêm kiến thức hay phong cách mới, người ta phải huấn luyện thêm, ví dụ bằng kỹ thuật được giải thích trong bài fine-tuning là gì.

“Cửa sổ càng to càng chính xác”

Cửa sổ to cho phép đưa nhiều thông tin hơn, nhưng thông tin thừa cũng có thể làm nhiễu. Văn bản gọn, đúng trọng tâm thường cho câu trả lời tốt hơn một khối tài liệu khổng lồ.

Câu hỏi thường gặp

Làm sao biết chatbot tôi dùng có cửa sổ ngữ cảnh bao nhiêu?

Xem trang tài liệu hoặc trang giới thiệu mô hình của nhà cung cấp, thường ghi dạng “128K”, “200K” hay “1M” token. Lưu ý gói miễn phí và gói trả phí của cùng một dịch vụ có thể có cửa sổ khác nhau, và ứng dụng chat đôi khi dùng cửa sổ nhỏ hơn mức tối đa của mô hình.

Cửa sổ ngữ cảnh khác dữ liệu huấn luyện thế nào?

Dữ liệu huấn luyện là kho văn bản khổng lồ mô hình đã học trước đó, tạo nên kiến thức nền của nó. Cửa sổ ngữ cảnh là phần văn bản mô hình đang đọc ngay lúc trả lời bạn. Ví von: dữ liệu huấn luyện là những gì một người đã học ở trường, còn cửa sổ là tài liệu đang để trên bàn.

Vì sao AI vẫn quên dù cuộc trò chuyện chưa dài lắm?

Có thể chỉ dẫn hệ thống, tài liệu đính kèm hoặc kết quả tìm kiếm web đã chiếm nhiều chỗ, hoặc ứng dụng chủ động tóm tắt phần cũ để tiết kiệm chi phí. Cũng có thể lời dặn nằm ở vùng giữa và bị mô hình chú ý ít hơn. Nhắc lại ràng buộc quan trọng là cách khắc phục nhanh nhất.

Cửa sổ ngữ cảnh lớn có làm AI trả lời chậm hơn không?

Có. Ngữ cảnh càng dài, mô hình càng mất nhiều thời gian đọc trước khi viết chữ đầu tiên, và chi phí API cũng tăng theo số token đầu vào. Đó là lý do nên chỉ đưa phần thông tin thật sự cần thiết.

Robot và trợ lý tự động có bị giới hạn cửa sổ ngữ cảnh không?

Có, nếu chúng dùng mô hình ngôn ngữ để lập kế hoạch. Một AI agent làm nhiều bước liên tiếp phải giữ lịch sử thao tác, kết quả công cụ và mục tiêu trong cửa sổ. Việc dài quá thì agent cũng phải tóm tắt hoặc ghi chú ra ngoài, giống con người ghi sổ tay khi làm dự án lớn.

Kết luận

Cửa sổ ngữ cảnh là mặt bàn làm việc của AI: mọi thứ nó cần để trả lời phải nằm trên đó, và bàn có kích thước giới hạn vì cơ chế chú ý buộc mỗi token nhìn mọi token khác. Hiểu điều này, bạn sẽ không còn ngạc nhiên khi chatbot quên lời dặn đầu buổi, và biết cách giữ cho nó tập trung: mỗi chủ đề một cuộc trò chuyện, yêu cầu chính đặt ở đầu hoặc cuối, chỉ đưa thông tin thật sự cần.

Con người giải câu đố con mèo và hàng rào trong một giây mà không nhận ra mình đã chú ý như thế nào; còn máy cần cả một phát minh để làm được điều đó, kèm theo giới hạn của riêng nó. Bạn đã bao giờ thấy chatbot quên mất điều bạn dặn chưa? Hãy kể trong phần bình luận, và theo dõi Nhật Phúc để đọc thêm những bài giải thích AI dễ hiểu.

The post Cửa sổ ngữ cảnh là gì? Vì sao AI quên đầu cuộc trò chuyện appeared first on Nhật Phúc.

Câu trả lời ngắn: Có. Với cùng một ý, câu tiếng Việt thường bị cắt thành nhiều token hơn câu tiếng Anh, vì bộ từ vựng của nhiều mô hình được xây chủ yếu từ dữ liệu tiếng Anh và chữ có dấu chiếm nhiều byte hơn. Mức chênh phụ thuộc mô hình: bộ tách token thế hệ mới đã thu hẹp khoảng cách đáng kể, nhưng chưa xoá hẳn.

Bài viết này đi tiếp từ video “Token là gì” của kênh Vọc Sĩ. Nếu bạn chưa rõ token là gì, hãy xem video giải thích token và chuyện AI đếm sai chữ r trong strawberry trước, chỉ khoảng 3 phút rưỡi.

▶Xem video

Tóm tắt nhanh

• Token là các mảnh chữ mà AI dùng để đọc và viết; mỗi mảnh được đổi thành một con số.
• Đo bằng thư viện tiktoken, một câu tiếng Việt 14 chữ tốn 25 token, bản tiếng Anh cùng ý chỉ 11 token (bộ tách o200k_base).
• Bộ tách token đời mới cắt tiếng Việt gọn hơn hẳn đời cũ: cùng câu đó, bộ tách gpt2 cần tới 37 token.
• Gõ không dấu không rẻ ngang tiếng Anh, lại dễ làm AI hiểu sai.
• Văn bản Unicode tổ hợp (dán từ PDF, Word cũ) có thể làm số token tăng thêm khoảng 40%.
• Token quyết định chi phí API, độ dài cửa sổ ngữ cảnh, tốc độ trả lời và hạn mức gói miễn phí.

Nội dung chính:

1. Token là gì? Nhắc lại trong một phút
2. Bộ tách token học cách cắt chữ thế nào
3. Vì sao tiếng Việt tốn token hơn
4. Đo thực tế: tiếng Việt tốn bao nhiêu token
5. Gõ không dấu có tiết kiệm token không
6. Lỗi ẩn: Unicode tổ hợp làm phình token
7. Token ảnh hưởng đến chi phí và trải nghiệm ra sao
8. Vì sao AI đếm sai chữ r trong strawberry
9. 6 cách tiết kiệm token khi dùng tiếng Việt
10. Hiểu lầm phổ biến về token tiếng Việt
11. Câu hỏi thường gặp

Token là gì? Nhắc lại trong một phút

Token là những mảnh chữ mà mô hình ngôn ngữ dùng để đọc và viết. Con người đọc từng chữ cái, từng từ. AI thì không. Trước khi xử lý bất kỳ câu nào, nó cắt câu thành các mảnh, rồi đổi mỗi mảnh thành một mã số. Từ đó trở đi, mọi phép tính bên trong mô hình chỉ làm việc với dãy số này.

Video dùng một ví von rất dễ nhớ: token là các khối Lego của ngôn ngữ. Bạn không xây nhà từ từng hạt nhựa, cũng không xây từ cả bức tường dựng sẵn. Bạn xây từ những khối cỡ vừa, lắp được nhiều kiểu. Một từ thông dụng thường là một token trọn vẹn; một từ hiếm bị chẻ thành vài mảnh; dấu cách, dấu chấm, thậm chí một biểu tượng cảm xúc cũng có thể là token riêng.

Với tiếng Anh, OpenAI hay đưa ra quy tắc ước lượng: một token trung bình dài khoảng 4 ký tự, tức nhỉnh hơn 3/4 một từ. Quy tắc này rất tiện để nhẩm, nhưng không áp dụng được cho tiếng Việt, và phần còn lại của bài sẽ cho bạn thấy vì sao.

Nếu bạn muốn hiểu rộng hơn về loại mô hình đứng sau chatbot, bài LLM là gì và mô hình ngôn ngữ lớn hoạt động ra sao trên Nhật Phúc là điểm khởi đầu tốt.

Bộ tách token học cách cắt chữ thế nào

Không ai ngồi cắt chữ bằng tay. Phần mềm làm việc này gọi là bộ tách token (tokenizer). Phần lớn chatbot hiện nay dùng một họ thuật toán tên là Byte Pair Encoding (BPE, mã hoá cặp byte) hoặc biến thể gần giống.

Bốn bước của thuật toán BPE

Ý tưởng của BPE giản dị đến bất ngờ. Người ta cho thuật toán đọc một kho văn bản khổng lồ, bắt đầu từ những mảnh nhỏ nhất là từng byte (với chữ Latin không dấu, mỗi chữ cái là một byte). Thuật toán đếm xem cặp mảnh nào đứng cạnh nhau nhiều nhất, gộp cặp đó thành một mảnh mới, rồi lặp lại. Trong tiếng Anh, “t” và “h” rất hay đi cùng nhau nên sớm thành mảnh “th”; sau đó “th” và “e” thành “the”, và cứ thế.

Quá trình dừng lại khi bộ từ vựng đạt kích thước định trước. Kết quả: cụm nào xuất hiện nhiều trong dữ liệu huấn luyện thì thành một token riêng, cụm nào hiếm thì phải ghép từ các mảnh nhỏ hơn. Chi tiết này là chìa khoá để hiểu vì sao tiếng Việt chịu thiệt.

Bộ từ vựng lớn dần qua từng thế hệ

Thư viện mã nguồn mở tiktoken của OpenAI công khai ba bộ tách tiêu biểu. Bộ gpt2 (dùng cho GPT-2 năm 2019) có khoảng 50.000 mảnh. Bộ cl100k_base (dùng cho GPT-3.5 và GPT-4) có khoảng 100.000 mảnh. Bộ o200k_base (dùng cho GPT-4o và các mô hình đời sau) có khoảng 200.000 mảnh. Các hãng khác cũng đi theo hướng này; chẳng hạn Meta tăng bộ từ vựng từ khoảng 32.000 ở Llama 2 lên khoảng 128.000 ở Llama 3.

Bộ từ vựng lớn hơn không miễn phí: mô hình phải học thêm nhiều “mã số”, bảng tra cứu bên trong to hơn. Nhưng đổi lại, câu văn được cắt thành ít mảnh hơn, nhất là với các ngôn ngữ như tiếng Việt, tiếng Thái, tiếng Hindi. Đây là lý do mỗi thế hệ mô hình mới thường “thân thiện” với tiếng Việt hơn thế hệ trước.

Vì sao tiếng Việt tốn token hơn

Không có một nguyên nhân duy nhất. Có bốn yếu tố cộng dồn lại, và yếu tố nào cũng bắt nguồn từ cách bộ tách token được xây dựng.

1. Dữ liệu huấn luyện nghiêng về tiếng Anh

Kho văn bản dùng để “dạy” bộ tách token phần lớn là tiếng Anh. Cụm ký tự tiếng Anh vì thế xuất hiện dày đặc và được ưu tiên trở thành token trọn vẹn. Tiếng Việt chiếm tỷ lệ nhỏ hơn nhiều, nên nhiều cụm quen thuộc với người Việt vẫn chưa “đủ phổ biến” để có chỗ riêng trong bộ từ vựng.

2. Chữ có dấu nặng hơn ở cấp byte

Máy tính lưu chữ theo chuẩn UTF-8. Chữ Latin không dấu như “a”, “b” chỉ chiếm 1 byte. Chữ có dấu như “ê” chiếm 2 byte, còn những chữ mang hai dấu như “ệ”, “ở” chiếm tới 3 byte. Vì BPE bắt đầu từ byte, mỗi chữ có dấu khởi điểm đã “to” hơn, và nếu cụm chứa nó không đủ phổ biến, bộ tách phải dùng nhiều mảnh để ghép lại.

3. Mỗi âm tiết là một chữ rời

Tiếng Việt viết cách nhau theo âm tiết. “Trí tuệ nhân tạo” là bốn âm tiết rời, trong khi tiếng Anh gói cả khái niệm vào hai từ “artificial intelligence”, mà mỗi từ lại rất phổ biến. Dấu cách cũng thường dính vào token, nên nhiều chữ ngắn đồng nghĩa với nhiều mảnh.

4. Ít cụm lặp lại đủ nhiều

Tổ hợp phụ âm, nguyên âm và thanh điệu của tiếng Việt tạo ra rất nhiều biến thể: “nghiêng”, “nghiệng”, “người”, “ngưỡng”. Mỗi biến thể xuất hiện ít hơn hẳn một từ tiếng Anh thông dụng, nên dễ bị chẻ nhỏ. Bảng dưới cho thấy chữ “nghiêng” được ba thế hệ bộ tách xử lý khác nhau thế nào.

Đo thực tế: tiếng Việt tốn bao nhiêu token

Thay vì nói chung chung, Nhật Phúc đã đo trực tiếp bằng thư viện tiktoken (phiên bản mới nhất ngày 7/11/2026) với hai cặp câu cùng ý. Đây là con số đo thật, nhưng chỉ là vài câu mẫu; văn bản của bạn có thể chênh nhiều hay ít hơn tùy nội dung.

Hai điều đáng chú ý. Thứ nhất, với bộ tách mới nhất (o200k_base), câu tiếng Việt vẫn tốn khoảng 1,6 đến 2,3 lần số token so với câu tiếng Anh cùng ý. Thứ hai, khoảng cách đã thu hẹp rõ rệt qua từng thế hệ: câu về trí tuệ nhân tạo giảm từ 37 token (gpt2) xuống 25 token (o200k_base), trong khi bản tiếng Anh gần như đứng yên.

Bạn có thể tự đo bằng công cụ đếm token trên trang của nhà cung cấp, hoặc bằng thư viện tiktoken nếu biết chút Python. Nhật Phúc có bài hướng dẫn riêng về cách đếm token trước khi gửi yêu cầu API của OpenAI cho lập trình viên. Lưu ý quan trọng: mỗi hãng dùng bộ tách riêng, nên cùng một câu có thể ra số token khác nhau trên ChatGPT, Gemini, Claude hay Llama.

Gõ không dấu có tiết kiệm token không

Nghe qua thì hợp lý: dấu làm chữ nặng hơn, vậy bỏ dấu đi là xong. Thực tế không đơn giản vậy. Với câu “Hôm nay trời đẹp, chúng ta đi uống cà phê nhé.” và bộ tách o200k_base, bản có dấu tốn 21 token, bản không dấu 16 token, còn bản tiếng Anh 13 token. Nghĩa là bỏ dấu giúp bớt một phần, nhưng vẫn không rẻ ngang tiếng Anh, vì các âm tiết rời và cụm không dấu tiếng Việt cũng không phổ biến trong dữ liệu.

Cái giá phải trả lớn hơn khoản tiết kiệm. “Ca phe” có thể là cà phê, cá phè hay một cái tên; “ban” có thể là bạn, bán, bàn, bận. Mô hình phải đoán, và đoán sai thì bạn mất thêm một lượt hỏi lại, tốn token gấp đôi. Với văn bản quan trọng như hợp đồng, email khách hàng, nội dung đăng web, hãy luôn giữ đủ dấu. Chỉ cân nhắc không dấu cho dữ liệu kỹ thuật thuần tuý như mã sản phẩm, tên biến, đường dẫn.

Lỗi ẩn: Unicode tổ hợp làm phình token

Đây là cái bẫy ít người biết. Chữ tiếng Việt có dấu có thể được lưu theo hai cách nhìn y hệt nhau trên màn hình. Cách dựng sẵn (chuẩn hoá NFC) lưu “ệ” thành một ký tự duy nhất. Cách tổ hợp (NFD) lưu “e” cộng dấu mũ cộng dấu nặng thành ba ký tự riêng. Văn bản tổ hợp thường gặp khi dán từ một số file PDF, tài liệu Word cũ, hoặc tên file tạo trên máy Mac.

Nhật Phúc đo câu “Trí tuệ nhân tạo đang thay đổi cách chúng ta làm việc mỗi ngày.” với bộ tách o200k_base: bản dựng sẵn tốn 25 token, bản tổ hợp tốn 35 token, tăng 40% mà mắt thường không thấy khác gì. Với người dùng chatbot thông thường, chuyện này ít khi đáng lo. Nhưng nếu bạn xử lý hàng nghìn tài liệu qua API, hãy chuẩn hoá văn bản về NFC trước khi gửi; trong Python chỉ cần một dòng unicodedata.normalize(“NFC”, văn_bản).

Token ảnh hưởng đến chi phí và trải nghiệm ra sao

Nhiều người nghĩ token chỉ là chuyện của lập trình viên trả tiền API. Thực ra nó chi phối bốn thứ mà người dùng nào cũng cảm nhận được.

Chi phí API

Hầu hết dịch vụ AI cho doanh nghiệp tính tiền theo số token, thường niêm yết theo đơn vị 1 triệu token, và giá token đầu ra (chữ AI viết) thường cao hơn giá token đầu vào (chữ bạn gửi). Công thức ước tính rất đơn giản, minh hoạ trong ảnh dưới.

Ví dụ (số liệu minh họa, không phải bảng giá thật): một yêu cầu gửi 2.000 token, nhận về 1.000 token, với giá 1 USD cho 1 triệu token đầu vào và 4 USD cho 1 triệu token đầu ra, tốn 0,006 USD. Nghe rất nhỏ, nhưng nhân với 100.000 yêu cầu mỗi tháng là 600 USD. Nếu nội dung tiếng Việt tốn gấp đôi token so với tiếng Anh, hoá đơn cũng gấp đôi. Giá thật thay đổi liên tục theo mô hình và nhà cung cấp, hãy luôn xem bảng giá chính thức.

Cửa sổ ngữ cảnh

Mỗi mô hình chỉ đọc được một lượng token nhất định trong một lần, gọi là cửa sổ ngữ cảnh (context window). Vượt giới hạn, phần đầu cuộc trò chuyện bị cắt bớt hoặc tóm tắt. Vì tiếng Việt tốn nhiều token hơn, cùng một cửa sổ chứa được ít chữ tiếng Việt hơn tiếng Anh; một tài liệu dài bằng tiếng Việt chạm trần sớm hơn.

Tốc độ và hạn mức

AI viết câu trả lời từng token một. Câu trả lời tiếng Việt cần nhiều token hơn nên cũng hiện ra chậm hơn đôi chút. Các gói miễn phí hay gói thuê bao có hạn mức tính theo token hoặc theo lượt cũng vì thế mà “hết” nhanh hơn khi bạn làm việc bằng tiếng Việt với tài liệu dài.

Vì sao AI đếm sai chữ r trong strawberry

Đây chính là câu đố mở đầu video. Hỏi một chatbot “strawberry có bao nhiêu chữ r”, có lúc nó trả lời sai, dù nó viết được cả bài luận. Lời giải nằm ở token. Với cả ba bộ tách gpt2, cl100k_base và o200k_base, “strawberry” chỉ là 3 mảnh; với o200k_base là “st”, “raw” và “berry”.

Mô hình nhìn mỗi mảnh như một con số nguyên khối, giống như bạn nhìn một viên Lego mà không đếm được số hạt nhựa tạo nên nó. Muốn biết “raw” có chữ r, mô hình phải “nhớ” điều đó từ dữ liệu huấn luyện chứ không nhìn thấy trực tiếp. Vì vậy những việc đòi hỏi nhìn vào bên trong từ, như đếm chữ cái, đảo ngược một từ, đánh vần, tìm từ có đúng 5 chữ cái, là điểm yếu có thật của mô hình ngôn ngữ.

Với tiếng Việt, hiện tượng này còn có thêm một tầng: dấu thanh có khi nằm chung mảnh với chữ cái, có khi tách riêng. Bạn đừng ngạc nhiên nếu AI làm sai các trò chơi chữ, câu đố đánh vần hay yêu cầu “viết lại câu không dùng chữ a”. Các mô hình đời mới, nhất là loại có chế độ suy nghĩ từng bước, đã cải thiện nhiều ở dạng bài này vì chúng có thể tự viết từng chữ cái ra rồi mới đếm.

6 cách tiết kiệm token khi dùng tiếng Việt

Bạn không cần chuyển sang tiếng Anh để dùng AI hiệu quả. Chất lượng câu trả lời tiếng Việt của các mô hình lớn hiện nay đã rất tốt. Thay vào đó, hãy áp dụng sáu thói quen sau để giảm token mà không giảm chất lượng.

1. Viết có dấu, gọn ý

Bỏ những câu rào đón như “Bạn ơi, cho mình hỏi một chút được không, mình đang cần…”. Đi thẳng vào yêu cầu, nêu rõ bối cảnh và kết quả mong muốn. Câu gọn tiết kiệm token nhiều hơn hẳn so với việc bỏ dấu.

2. Chuẩn hoá Unicode về NFC

Nếu bạn xử lý tài liệu hàng loạt, hãy chuẩn hoá về dạng dựng sẵn trước khi gửi. Đây là cách giảm token “miễn phí” duy nhất mà không đụng đến nội dung.

3. Chọn mô hình có bộ từ vựng lớn

Với lập trình viên, hãy đếm thử cùng một đoạn tiếng Việt trên vài mô hình trước khi chọn. Mô hình có giá niêm yết rẻ hơn chưa chắc rẻ hơn thật nếu nó cắt tiếng Việt thành nhiều mảnh hơn.

4. Yêu cầu trả lời ngắn khi đủ

Token đầu ra thường đắt hơn đầu vào. Thêm chỉ dẫn như “trả lời trong 5 gạch đầu dòng” hoặc “tối đa 150 chữ” khi bạn chỉ cần ý chính.

5. Mở cuộc trò chuyện mới khi đổi chủ đề

Mỗi lượt hỏi, toàn bộ lịch sử trò chuyện thường được gửi lại cho mô hình. Một cuộc trò chuyện dài lê thê vừa tốn token, vừa làm cửa sổ ngữ cảnh đầy nhanh. Đổi chủ đề thì mở cửa sổ chat mới.

6. Đo trước khi chạy hàng loạt

Trước khi đưa AI vào quy trình tự động (tóm tắt email, trả lời khách hàng, dịch mô tả sản phẩm), hãy lấy 10 mẫu thật, đếm token, nhân lên theo khối lượng dự kiến. Bạn sẽ có con số chi phí sát thực tế thay vì dựa vào quy tắc “1 token bằng 3/4 từ” vốn chỉ đúng với tiếng Anh.

Hiểu lầm phổ biến về token tiếng Việt

“Token chính là một từ”

Không. Một từ có thể là một token, một phần token hay nhiều token. Với tiếng Việt, một âm tiết thông dụng như “của”, “và” thường là một token, còn âm tiết ít gặp có thể bị chẻ làm hai, ba mảnh.

“Hỏi bằng tiếng Anh thì AI trả lời thông minh hơn”

Với các mô hình lớn hiện nay, khác biệt chất lượng giữa câu hỏi tiếng Việt và tiếng Anh cho các tác vụ phổ thông là không lớn. Token chỉ nói về số mảnh, không nói về độ thông minh. Hãy dùng ngôn ngữ giúp bạn diễn đạt rõ nhất.

“Số token giống nhau trên mọi chatbot”

Mỗi hãng có bộ tách riêng. Cùng một đoạn văn có thể ra số token khác nhau giữa các mô hình, thậm chí giữa hai đời mô hình của cùng một hãng.

“Tiếng Việt sẽ mãi chịu thiệt”

Các con số đo ở trên cho thấy điều ngược lại: mỗi thế hệ bộ tách mới cắt tiếng Việt gọn hơn. Ngoài ra, cộng đồng Việt Nam cũng đã phát triển các mô hình được tinh chỉnh hoặc mở rộng bộ từ vựng riêng cho tiếng Việt.

Câu hỏi thường gặp

Một chữ tiếng Việt bằng bao nhiêu token?

Không có con số cố định. Với bộ tách o200k_base, trong các câu Nhật Phúc đo, trung bình mỗi chữ tiếng Việt tốn khoảng 1,8 đến 1,9 token, tính cả dấu câu. Âm tiết thông dụng thường là 1 token, âm tiết hiếm có thể 2 đến 3 token. Cách chắc chắn nhất là dùng công cụ đếm token của chính mô hình bạn dùng.

Tiếng Việt tốn token gấp mấy lần tiếng Anh?

Tùy mô hình và tùy câu. Trong phép đo với bộ tách o200k_base, câu tiếng Việt tốn khoảng 1,6 đến 2,3 lần số token của câu tiếng Anh cùng ý. Với bộ tách đời cũ như gpt2, mức chênh có thể lên tới khoảng 3 lần.

Dùng ChatGPT bản miễn phí có phải lo về token không?

Bạn không trả tiền theo token, nhưng token vẫn quyết định cuộc trò chuyện dài được bao lâu trước khi AI bắt đầu quên phần đầu, và hạn mức sử dụng có thể hết nhanh hơn với tài liệu dài. Mở chat mới khi đổi chủ đề là thói quen đáng giữ.

Vì sao AI dịch hay viết tiếng Việt vẫn tốt dù tốn token?

Số token chỉ là cách cắt chữ, còn khả năng ngôn ngữ đến từ lượng dữ liệu và quá trình huấn luyện. Các mô hình lớn đã học từ rất nhiều văn bản tiếng Việt nên viết trôi chảy, chỉ là mỗi câu cần nhiều mảnh ghép hơn để biểu diễn.

Có công cụ nào đếm token tiếng Việt miễn phí không?

Có. OpenAI có trang Tokenizer trực tuyến, và thư viện tiktoken mã nguồn mở cho phép đếm offline bằng Python. Các hãng khác như Google, Anthropic cung cấp hàm đếm token trong bộ công cụ cho lập trình viên của họ.

Kết luận

AI không đọc chữ như chúng ta. Nó đọc các mảnh ghép, và với tiếng Việt, những mảnh ghép ấy nhỏ hơn, nhiều hơn so với tiếng Anh. Hiểu điều này giúp bạn giải thích được vì sao chi phí API tiếng Việt cao hơn dự tính, vì sao tài liệu tiếng Việt dài làm chatbot “quên” sớm, và vì sao AI có lúc loay hoay với chữ r trong quả dâu tây.

Tin tốt là khoảng cách đang thu hẹp qua từng thế hệ mô hình, và với vài thói quen nhỏ như viết gọn, giữ dấu, chuẩn hoá Unicode, mở chat mới khi đổi chủ đề, bạn đã tiết kiệm được đáng kể. Bạn đã từng thấy AI trả lời sai một câu tưởng như rất đơn giản chưa? Hãy kể trong phần bình luận, và theo dõi Nhật Phúc để đọc thêm những bài giải thích AI dễ hiểu như thế này.

The post Tiếng Việt tốn token hơn tiếng Anh? Đo thực tế và cách tối ưu appeared first on Nhật Phúc.