Câu trả lời ngắn: Có. Với cùng một ý, câu tiếng Việt thường bị cắt thành nhiều token hơn câu tiếng Anh, vì bộ từ vựng của nhiều mô hình được xây chủ yếu từ dữ liệu tiếng Anh và chữ có dấu chiếm nhiều byte hơn. Mức chênh phụ thuộc mô hình: bộ tách token thế hệ mới đã thu hẹp khoảng cách đáng kể, nhưng chưa xoá hẳn.

Bài viết này đi tiếp từ video “Token là gì” của kênh Vọc Sĩ. Nếu bạn chưa rõ token là gì, hãy xem video giải thích token và chuyện AI đếm sai chữ r trong strawberry trước, chỉ khoảng 3 phút rưỡi.

▶Xem video

Tóm tắt nhanh

• Token là các mảnh chữ mà AI dùng để đọc và viết; mỗi mảnh được đổi thành một con số.
• Đo bằng thư viện tiktoken, một câu tiếng Việt 14 chữ tốn 25 token, bản tiếng Anh cùng ý chỉ 11 token (bộ tách o200k_base).
• Bộ tách token đời mới cắt tiếng Việt gọn hơn hẳn đời cũ: cùng câu đó, bộ tách gpt2 cần tới 37 token.
• Gõ không dấu không rẻ ngang tiếng Anh, lại dễ làm AI hiểu sai.
• Văn bản Unicode tổ hợp (dán từ PDF, Word cũ) có thể làm số token tăng thêm khoảng 40%.
• Token quyết định chi phí API, độ dài cửa sổ ngữ cảnh, tốc độ trả lời và hạn mức gói miễn phí.

Nội dung chính:

1. Token là gì? Nhắc lại trong một phút
2. Bộ tách token học cách cắt chữ thế nào
3. Vì sao tiếng Việt tốn token hơn
4. Đo thực tế: tiếng Việt tốn bao nhiêu token
5. Gõ không dấu có tiết kiệm token không
6. Lỗi ẩn: Unicode tổ hợp làm phình token
7. Token ảnh hưởng đến chi phí và trải nghiệm ra sao
8. Vì sao AI đếm sai chữ r trong strawberry
9. 6 cách tiết kiệm token khi dùng tiếng Việt
10. Hiểu lầm phổ biến về token tiếng Việt
11. Câu hỏi thường gặp

Token là gì? Nhắc lại trong một phút

Token là những mảnh chữ mà mô hình ngôn ngữ dùng để đọc và viết. Con người đọc từng chữ cái, từng từ. AI thì không. Trước khi xử lý bất kỳ câu nào, nó cắt câu thành các mảnh, rồi đổi mỗi mảnh thành một mã số. Từ đó trở đi, mọi phép tính bên trong mô hình chỉ làm việc với dãy số này.

Video dùng một ví von rất dễ nhớ: token là các khối Lego của ngôn ngữ. Bạn không xây nhà từ từng hạt nhựa, cũng không xây từ cả bức tường dựng sẵn. Bạn xây từ những khối cỡ vừa, lắp được nhiều kiểu. Một từ thông dụng thường là một token trọn vẹn; một từ hiếm bị chẻ thành vài mảnh; dấu cách, dấu chấm, thậm chí một biểu tượng cảm xúc cũng có thể là token riêng.

Với tiếng Anh, OpenAI hay đưa ra quy tắc ước lượng: một token trung bình dài khoảng 4 ký tự, tức nhỉnh hơn 3/4 một từ. Quy tắc này rất tiện để nhẩm, nhưng không áp dụng được cho tiếng Việt, và phần còn lại của bài sẽ cho bạn thấy vì sao.

Nếu bạn muốn hiểu rộng hơn về loại mô hình đứng sau chatbot, bài LLM là gì và mô hình ngôn ngữ lớn hoạt động ra sao trên Nhật Phúc là điểm khởi đầu tốt.

Bộ tách token học cách cắt chữ thế nào

Không ai ngồi cắt chữ bằng tay. Phần mềm làm việc này gọi là bộ tách token (tokenizer). Phần lớn chatbot hiện nay dùng một họ thuật toán tên là Byte Pair Encoding (BPE, mã hoá cặp byte) hoặc biến thể gần giống.

Bốn bước của thuật toán BPE

Ý tưởng của BPE giản dị đến bất ngờ. Người ta cho thuật toán đọc một kho văn bản khổng lồ, bắt đầu từ những mảnh nhỏ nhất là từng byte (với chữ Latin không dấu, mỗi chữ cái là một byte). Thuật toán đếm xem cặp mảnh nào đứng cạnh nhau nhiều nhất, gộp cặp đó thành một mảnh mới, rồi lặp lại. Trong tiếng Anh, “t” và “h” rất hay đi cùng nhau nên sớm thành mảnh “th”; sau đó “th” và “e” thành “the”, và cứ thế.

Quá trình dừng lại khi bộ từ vựng đạt kích thước định trước. Kết quả: cụm nào xuất hiện nhiều trong dữ liệu huấn luyện thì thành một token riêng, cụm nào hiếm thì phải ghép từ các mảnh nhỏ hơn. Chi tiết này là chìa khoá để hiểu vì sao tiếng Việt chịu thiệt.

Bộ từ vựng lớn dần qua từng thế hệ

Thư viện mã nguồn mở tiktoken của OpenAI công khai ba bộ tách tiêu biểu. Bộ gpt2 (dùng cho GPT-2 năm 2019) có khoảng 50.000 mảnh. Bộ cl100k_base (dùng cho GPT-3.5 và GPT-4) có khoảng 100.000 mảnh. Bộ o200k_base (dùng cho GPT-4o và các mô hình đời sau) có khoảng 200.000 mảnh. Các hãng khác cũng đi theo hướng này; chẳng hạn Meta tăng bộ từ vựng từ khoảng 32.000 ở Llama 2 lên khoảng 128.000 ở Llama 3.

Bộ từ vựng lớn hơn không miễn phí: mô hình phải học thêm nhiều “mã số”, bảng tra cứu bên trong to hơn. Nhưng đổi lại, câu văn được cắt thành ít mảnh hơn, nhất là với các ngôn ngữ như tiếng Việt, tiếng Thái, tiếng Hindi. Đây là lý do mỗi thế hệ mô hình mới thường “thân thiện” với tiếng Việt hơn thế hệ trước.

Vì sao tiếng Việt tốn token hơn

Không có một nguyên nhân duy nhất. Có bốn yếu tố cộng dồn lại, và yếu tố nào cũng bắt nguồn từ cách bộ tách token được xây dựng.

1. Dữ liệu huấn luyện nghiêng về tiếng Anh

Kho văn bản dùng để “dạy” bộ tách token phần lớn là tiếng Anh. Cụm ký tự tiếng Anh vì thế xuất hiện dày đặc và được ưu tiên trở thành token trọn vẹn. Tiếng Việt chiếm tỷ lệ nhỏ hơn nhiều, nên nhiều cụm quen thuộc với người Việt vẫn chưa “đủ phổ biến” để có chỗ riêng trong bộ từ vựng.

2. Chữ có dấu nặng hơn ở cấp byte

Máy tính lưu chữ theo chuẩn UTF-8. Chữ Latin không dấu như “a”, “b” chỉ chiếm 1 byte. Chữ có dấu như “ê” chiếm 2 byte, còn những chữ mang hai dấu như “ệ”, “ở” chiếm tới 3 byte. Vì BPE bắt đầu từ byte, mỗi chữ có dấu khởi điểm đã “to” hơn, và nếu cụm chứa nó không đủ phổ biến, bộ tách phải dùng nhiều mảnh để ghép lại.

3. Mỗi âm tiết là một chữ rời

Tiếng Việt viết cách nhau theo âm tiết. “Trí tuệ nhân tạo” là bốn âm tiết rời, trong khi tiếng Anh gói cả khái niệm vào hai từ “artificial intelligence”, mà mỗi từ lại rất phổ biến. Dấu cách cũng thường dính vào token, nên nhiều chữ ngắn đồng nghĩa với nhiều mảnh.

4. Ít cụm lặp lại đủ nhiều

Tổ hợp phụ âm, nguyên âm và thanh điệu của tiếng Việt tạo ra rất nhiều biến thể: “nghiêng”, “nghiệng”, “người”, “ngưỡng”. Mỗi biến thể xuất hiện ít hơn hẳn một từ tiếng Anh thông dụng, nên dễ bị chẻ nhỏ. Bảng dưới cho thấy chữ “nghiêng” được ba thế hệ bộ tách xử lý khác nhau thế nào.

Đo thực tế: tiếng Việt tốn bao nhiêu token

Thay vì nói chung chung, Nhật Phúc đã đo trực tiếp bằng thư viện tiktoken (phiên bản mới nhất ngày 7/11/2026) với hai cặp câu cùng ý. Đây là con số đo thật, nhưng chỉ là vài câu mẫu; văn bản của bạn có thể chênh nhiều hay ít hơn tùy nội dung.

Hai điều đáng chú ý. Thứ nhất, với bộ tách mới nhất (o200k_base), câu tiếng Việt vẫn tốn khoảng 1,6 đến 2,3 lần số token so với câu tiếng Anh cùng ý. Thứ hai, khoảng cách đã thu hẹp rõ rệt qua từng thế hệ: câu về trí tuệ nhân tạo giảm từ 37 token (gpt2) xuống 25 token (o200k_base), trong khi bản tiếng Anh gần như đứng yên.

Bạn có thể tự đo bằng công cụ đếm token trên trang của nhà cung cấp, hoặc bằng thư viện tiktoken nếu biết chút Python. Nhật Phúc có bài hướng dẫn riêng về cách đếm token trước khi gửi yêu cầu API của OpenAI cho lập trình viên. Lưu ý quan trọng: mỗi hãng dùng bộ tách riêng, nên cùng một câu có thể ra số token khác nhau trên ChatGPT, Gemini, Claude hay Llama.

Gõ không dấu có tiết kiệm token không

Nghe qua thì hợp lý: dấu làm chữ nặng hơn, vậy bỏ dấu đi là xong. Thực tế không đơn giản vậy. Với câu “Hôm nay trời đẹp, chúng ta đi uống cà phê nhé.” và bộ tách o200k_base, bản có dấu tốn 21 token, bản không dấu 16 token, còn bản tiếng Anh 13 token. Nghĩa là bỏ dấu giúp bớt một phần, nhưng vẫn không rẻ ngang tiếng Anh, vì các âm tiết rời và cụm không dấu tiếng Việt cũng không phổ biến trong dữ liệu.

Cái giá phải trả lớn hơn khoản tiết kiệm. “Ca phe” có thể là cà phê, cá phè hay một cái tên; “ban” có thể là bạn, bán, bàn, bận. Mô hình phải đoán, và đoán sai thì bạn mất thêm một lượt hỏi lại, tốn token gấp đôi. Với văn bản quan trọng như hợp đồng, email khách hàng, nội dung đăng web, hãy luôn giữ đủ dấu. Chỉ cân nhắc không dấu cho dữ liệu kỹ thuật thuần tuý như mã sản phẩm, tên biến, đường dẫn.

Lỗi ẩn: Unicode tổ hợp làm phình token

Đây là cái bẫy ít người biết. Chữ tiếng Việt có dấu có thể được lưu theo hai cách nhìn y hệt nhau trên màn hình. Cách dựng sẵn (chuẩn hoá NFC) lưu “ệ” thành một ký tự duy nhất. Cách tổ hợp (NFD) lưu “e” cộng dấu mũ cộng dấu nặng thành ba ký tự riêng. Văn bản tổ hợp thường gặp khi dán từ một số file PDF, tài liệu Word cũ, hoặc tên file tạo trên máy Mac.

Nhật Phúc đo câu “Trí tuệ nhân tạo đang thay đổi cách chúng ta làm việc mỗi ngày.” với bộ tách o200k_base: bản dựng sẵn tốn 25 token, bản tổ hợp tốn 35 token, tăng 40% mà mắt thường không thấy khác gì. Với người dùng chatbot thông thường, chuyện này ít khi đáng lo. Nhưng nếu bạn xử lý hàng nghìn tài liệu qua API, hãy chuẩn hoá văn bản về NFC trước khi gửi; trong Python chỉ cần một dòng unicodedata.normalize(“NFC”, văn_bản).

Token ảnh hưởng đến chi phí và trải nghiệm ra sao

Nhiều người nghĩ token chỉ là chuyện của lập trình viên trả tiền API. Thực ra nó chi phối bốn thứ mà người dùng nào cũng cảm nhận được.

Chi phí API

Hầu hết dịch vụ AI cho doanh nghiệp tính tiền theo số token, thường niêm yết theo đơn vị 1 triệu token, và giá token đầu ra (chữ AI viết) thường cao hơn giá token đầu vào (chữ bạn gửi). Công thức ước tính rất đơn giản, minh hoạ trong ảnh dưới.

Ví dụ (số liệu minh họa, không phải bảng giá thật): một yêu cầu gửi 2.000 token, nhận về 1.000 token, với giá 1 USD cho 1 triệu token đầu vào và 4 USD cho 1 triệu token đầu ra, tốn 0,006 USD. Nghe rất nhỏ, nhưng nhân với 100.000 yêu cầu mỗi tháng là 600 USD. Nếu nội dung tiếng Việt tốn gấp đôi token so với tiếng Anh, hoá đơn cũng gấp đôi. Giá thật thay đổi liên tục theo mô hình và nhà cung cấp, hãy luôn xem bảng giá chính thức.

Cửa sổ ngữ cảnh

Mỗi mô hình chỉ đọc được một lượng token nhất định trong một lần, gọi là cửa sổ ngữ cảnh (context window). Vượt giới hạn, phần đầu cuộc trò chuyện bị cắt bớt hoặc tóm tắt. Vì tiếng Việt tốn nhiều token hơn, cùng một cửa sổ chứa được ít chữ tiếng Việt hơn tiếng Anh; một tài liệu dài bằng tiếng Việt chạm trần sớm hơn.

Tốc độ và hạn mức

AI viết câu trả lời từng token một. Câu trả lời tiếng Việt cần nhiều token hơn nên cũng hiện ra chậm hơn đôi chút. Các gói miễn phí hay gói thuê bao có hạn mức tính theo token hoặc theo lượt cũng vì thế mà “hết” nhanh hơn khi bạn làm việc bằng tiếng Việt với tài liệu dài.

Vì sao AI đếm sai chữ r trong strawberry

Đây chính là câu đố mở đầu video. Hỏi một chatbot “strawberry có bao nhiêu chữ r”, có lúc nó trả lời sai, dù nó viết được cả bài luận. Lời giải nằm ở token. Với cả ba bộ tách gpt2, cl100k_base và o200k_base, “strawberry” chỉ là 3 mảnh; với o200k_base là “st”, “raw” và “berry”.

Mô hình nhìn mỗi mảnh như một con số nguyên khối, giống như bạn nhìn một viên Lego mà không đếm được số hạt nhựa tạo nên nó. Muốn biết “raw” có chữ r, mô hình phải “nhớ” điều đó từ dữ liệu huấn luyện chứ không nhìn thấy trực tiếp. Vì vậy những việc đòi hỏi nhìn vào bên trong từ, như đếm chữ cái, đảo ngược một từ, đánh vần, tìm từ có đúng 5 chữ cái, là điểm yếu có thật của mô hình ngôn ngữ.

Với tiếng Việt, hiện tượng này còn có thêm một tầng: dấu thanh có khi nằm chung mảnh với chữ cái, có khi tách riêng. Bạn đừng ngạc nhiên nếu AI làm sai các trò chơi chữ, câu đố đánh vần hay yêu cầu “viết lại câu không dùng chữ a”. Các mô hình đời mới, nhất là loại có chế độ suy nghĩ từng bước, đã cải thiện nhiều ở dạng bài này vì chúng có thể tự viết từng chữ cái ra rồi mới đếm.

6 cách tiết kiệm token khi dùng tiếng Việt

Bạn không cần chuyển sang tiếng Anh để dùng AI hiệu quả. Chất lượng câu trả lời tiếng Việt của các mô hình lớn hiện nay đã rất tốt. Thay vào đó, hãy áp dụng sáu thói quen sau để giảm token mà không giảm chất lượng.

1. Viết có dấu, gọn ý

Bỏ những câu rào đón như “Bạn ơi, cho mình hỏi một chút được không, mình đang cần…”. Đi thẳng vào yêu cầu, nêu rõ bối cảnh và kết quả mong muốn. Câu gọn tiết kiệm token nhiều hơn hẳn so với việc bỏ dấu.

2. Chuẩn hoá Unicode về NFC

Nếu bạn xử lý tài liệu hàng loạt, hãy chuẩn hoá về dạng dựng sẵn trước khi gửi. Đây là cách giảm token “miễn phí” duy nhất mà không đụng đến nội dung.

3. Chọn mô hình có bộ từ vựng lớn

Với lập trình viên, hãy đếm thử cùng một đoạn tiếng Việt trên vài mô hình trước khi chọn. Mô hình có giá niêm yết rẻ hơn chưa chắc rẻ hơn thật nếu nó cắt tiếng Việt thành nhiều mảnh hơn.

4. Yêu cầu trả lời ngắn khi đủ

Token đầu ra thường đắt hơn đầu vào. Thêm chỉ dẫn như “trả lời trong 5 gạch đầu dòng” hoặc “tối đa 150 chữ” khi bạn chỉ cần ý chính.

5. Mở cuộc trò chuyện mới khi đổi chủ đề

Mỗi lượt hỏi, toàn bộ lịch sử trò chuyện thường được gửi lại cho mô hình. Một cuộc trò chuyện dài lê thê vừa tốn token, vừa làm cửa sổ ngữ cảnh đầy nhanh. Đổi chủ đề thì mở cửa sổ chat mới.

6. Đo trước khi chạy hàng loạt

Trước khi đưa AI vào quy trình tự động (tóm tắt email, trả lời khách hàng, dịch mô tả sản phẩm), hãy lấy 10 mẫu thật, đếm token, nhân lên theo khối lượng dự kiến. Bạn sẽ có con số chi phí sát thực tế thay vì dựa vào quy tắc “1 token bằng 3/4 từ” vốn chỉ đúng với tiếng Anh.

Hiểu lầm phổ biến về token tiếng Việt

“Token chính là một từ”

Không. Một từ có thể là một token, một phần token hay nhiều token. Với tiếng Việt, một âm tiết thông dụng như “của”, “và” thường là một token, còn âm tiết ít gặp có thể bị chẻ làm hai, ba mảnh.

“Hỏi bằng tiếng Anh thì AI trả lời thông minh hơn”

Với các mô hình lớn hiện nay, khác biệt chất lượng giữa câu hỏi tiếng Việt và tiếng Anh cho các tác vụ phổ thông là không lớn. Token chỉ nói về số mảnh, không nói về độ thông minh. Hãy dùng ngôn ngữ giúp bạn diễn đạt rõ nhất.

“Số token giống nhau trên mọi chatbot”

Mỗi hãng có bộ tách riêng. Cùng một đoạn văn có thể ra số token khác nhau giữa các mô hình, thậm chí giữa hai đời mô hình của cùng một hãng.

“Tiếng Việt sẽ mãi chịu thiệt”

Các con số đo ở trên cho thấy điều ngược lại: mỗi thế hệ bộ tách mới cắt tiếng Việt gọn hơn. Ngoài ra, cộng đồng Việt Nam cũng đã phát triển các mô hình được tinh chỉnh hoặc mở rộng bộ từ vựng riêng cho tiếng Việt.

Câu hỏi thường gặp

Một chữ tiếng Việt bằng bao nhiêu token?

Không có con số cố định. Với bộ tách o200k_base, trong các câu Nhật Phúc đo, trung bình mỗi chữ tiếng Việt tốn khoảng 1,8 đến 1,9 token, tính cả dấu câu. Âm tiết thông dụng thường là 1 token, âm tiết hiếm có thể 2 đến 3 token. Cách chắc chắn nhất là dùng công cụ đếm token của chính mô hình bạn dùng.

Tiếng Việt tốn token gấp mấy lần tiếng Anh?

Tùy mô hình và tùy câu. Trong phép đo với bộ tách o200k_base, câu tiếng Việt tốn khoảng 1,6 đến 2,3 lần số token của câu tiếng Anh cùng ý. Với bộ tách đời cũ như gpt2, mức chênh có thể lên tới khoảng 3 lần.

Dùng ChatGPT bản miễn phí có phải lo về token không?

Bạn không trả tiền theo token, nhưng token vẫn quyết định cuộc trò chuyện dài được bao lâu trước khi AI bắt đầu quên phần đầu, và hạn mức sử dụng có thể hết nhanh hơn với tài liệu dài. Mở chat mới khi đổi chủ đề là thói quen đáng giữ.

Vì sao AI dịch hay viết tiếng Việt vẫn tốt dù tốn token?

Số token chỉ là cách cắt chữ, còn khả năng ngôn ngữ đến từ lượng dữ liệu và quá trình huấn luyện. Các mô hình lớn đã học từ rất nhiều văn bản tiếng Việt nên viết trôi chảy, chỉ là mỗi câu cần nhiều mảnh ghép hơn để biểu diễn.

Có công cụ nào đếm token tiếng Việt miễn phí không?

Có. OpenAI có trang Tokenizer trực tuyến, và thư viện tiktoken mã nguồn mở cho phép đếm offline bằng Python. Các hãng khác như Google, Anthropic cung cấp hàm đếm token trong bộ công cụ cho lập trình viên của họ.

Kết luận

AI không đọc chữ như chúng ta. Nó đọc các mảnh ghép, và với tiếng Việt, những mảnh ghép ấy nhỏ hơn, nhiều hơn so với tiếng Anh. Hiểu điều này giúp bạn giải thích được vì sao chi phí API tiếng Việt cao hơn dự tính, vì sao tài liệu tiếng Việt dài làm chatbot “quên” sớm, và vì sao AI có lúc loay hoay với chữ r trong quả dâu tây.

Tin tốt là khoảng cách đang thu hẹp qua từng thế hệ mô hình, và với vài thói quen nhỏ như viết gọn, giữ dấu, chuẩn hoá Unicode, mở chat mới khi đổi chủ đề, bạn đã tiết kiệm được đáng kể. Bạn đã từng thấy AI trả lời sai một câu tưởng như rất đơn giản chưa? Hãy kể trong phần bình luận, và theo dõi Nhật Phúc để đọc thêm những bài giải thích AI dễ hiểu như thế này.

The post Tiếng Việt tốn token hơn tiếng Anh? Đo thực tế và cách tối ưu appeared first on Nhật Phúc.