Câu trả lời ngắn: Cửa sổ ngữ cảnh (context window) là lượng token tối đa mà mô hình AI đọc được trong một lần xử lý, gồm chỉ dẫn hệ thống, lịch sử trò chuyện, tài liệu đính kèm và cả câu trả lời nó sắp viết. Vượt giới hạn này, phần cũ nhất bị cắt bỏ hoặc tóm tắt, nên AI “quên” đầu cuộc trò chuyện.

Giới hạn này bắt nguồn từ chính ý tưởng làm nên ChatGPT: cơ chế chú ý trong kiến trúc Transformer. Nếu bạn muốn hiểu cơ chế đó bằng câu đố con mèo và hàng rào, hãy xem video giải thích Attention và Transformer của kênh Vọc Sĩ trước khi đọc tiếp.

▶Xem video

Tóm tắt nhanh

• Cửa sổ ngữ cảnh đo bằng token, không phải số chữ hay số trang.
• Mỗi lượt hỏi, cửa sổ chứa cả chỉ dẫn ẩn, lịch sử trò chuyện, tài liệu và câu trả lời sắp viết.
• Cơ chế chú ý khiến chi phí tính toán tăng theo bình phương độ dài: dài gấp 10 lần, số cặp cần chấm điểm gấp 100 lần.
• Cửa sổ đã tăng từ khoảng 2.000 token (GPT-3, 2020) lên khoảng 1 triệu token (Gemini 1.5 Pro, 2024).
• Cửa sổ lớn không đồng nghĩa nhớ tốt: AI thường bỏ sót thông tin nằm ở giữa văn bản dài.
• Mở chat mới cho chủ đề mới và đặt yêu cầu chính ở đầu hoặc cuối là hai mẹo hiệu quả nhất.

Nội dung chính:

1. Cửa sổ ngữ cảnh là gì?
2. Những gì chiếm chỗ trong cửa sổ ngữ cảnh
3. Vì sao cửa sổ ngữ cảnh có giới hạn: lỗi của sự chú ý
4. Cửa sổ ngữ cảnh lớn lên thế nào qua các năm
5. Chuyện gì xảy ra khi vượt cửa sổ ngữ cảnh
6. Cửa sổ lớn chưa chắc nhớ tốt: hiện tượng lạc ở giữa
7. Nhồi hết vào cửa sổ hay dùng tra cứu RAG
8. Cửa sổ ngữ cảnh và tiếng Việt
9. 6 mẹo để AI không quên điều quan trọng
10. Hiểu lầm phổ biến về cửa sổ ngữ cảnh
11. Câu hỏi thường gặp

Cửa sổ ngữ cảnh là gì?

Hãy hình dung mô hình AI là một người làm việc trên một chiếc bàn có kích thước cố định. Mọi thứ cần để trả lời câu hỏi của bạn, từ lời dặn ban đầu, các câu đã trao đổi đến tài liệu bạn đưa, đều phải nằm gọn trên mặt bàn đó. Cửa sổ ngữ cảnh chính là kích thước mặt bàn. Bàn đầy thì muốn đặt tờ giấy mới lên, phải dọn bớt giấy cũ xuống.

Đơn vị đo của cửa sổ ngữ cảnh là token, tức các mảnh chữ mà AI dùng để đọc và viết. Một token có thể là một từ, một phần của từ hoặc một dấu câu. Với tiếng Anh, 1.000 token tương đương khoảng 750 từ; với tiếng Việt, cùng số token chứa được ít chữ hơn, phần sau sẽ nói rõ. Vì vậy khi một hãng công bố mô hình “128K context”, nghĩa là cửa sổ chứa khoảng 128.000 token, chẳng hạn như mô hình mã nguồn mở Gemma 3 của Google với cửa sổ 128K.

Điều quan trọng: mô hình không có trí nhớ nào khác ngoài cửa sổ này trong lúc trả lời. Những gì nằm ngoài cửa sổ, với nó, coi như chưa từng tồn tại.

Những gì chiếm chỗ trong cửa sổ ngữ cảnh

Nhiều người nghĩ cửa sổ chỉ chứa câu hỏi mình vừa gõ. Thực tế, mỗi lượt hỏi, ứng dụng chatbot gom bốn loại nội dung lại rồi gửi cho mô hình cùng một lúc.

Chỉ dẫn hệ thống

Đây là lời dặn ẩn do nhà cung cấp hoặc ứng dụng viết sẵn: vai trò của trợ lý, quy tắc an toàn, định dạng trả lời, danh sách công cụ được dùng. Bạn không thấy nó, nhưng nó luôn chiếm một phần mặt bàn.

Lịch sử trò chuyện

Mô hình không “nhớ” lượt trước theo kiểu con người. Mỗi lần bạn gửi tin mới, toàn bộ các lượt hỏi đáp trước đó được gửi kèm để mô hình đọc lại từ đầu. Cuộc trò chuyện càng dài, phần này càng phình to.

Tài liệu đính kèm

File PDF, bảng tính, đoạn mã, nội dung trang web mà bạn dán hoặc tải lên đều được chuyển thành token và đặt lên bàn. Một báo cáo 50 trang có thể chiếm vài chục nghìn token.

Câu trả lời sắp viết

Đây là phần hay bị quên. Mô hình viết câu trả lời từng token một, và mỗi token mới cũng phải nằm trong cửa sổ. Nhiều dịch vụ còn đặt riêng một giới hạn độ dài đầu ra, thấp hơn nhiều so với cửa sổ tổng.

Vì sao cửa sổ ngữ cảnh có giới hạn: lỗi của sự chú ý

Năm 2017, nhóm nghiên cứu của Google công bố bài báo “Attention Is All You Need”, giới thiệu kiến trúc Transformer. Chữ T trong GPT chính là Transformer. Trái tim của kiến trúc này là cơ chế chú ý (attention): khi đọc một chữ, mô hình nhìn lại mọi chữ khác trong ngữ cảnh và chấm điểm xem chữ nào liên quan nhất.

Video dùng câu đố “Con mèo không nhảy qua được hàng rào vì nó quá cao”. Khi gặp chữ “nó”, mô hình chấm điểm: “hàng rào” điểm cao, “con mèo” điểm thấp, vì “quá cao” gợi về vật. Đổi thành “vì nó quá mệt”, điểm số đảo chiều. Cách làm này cực kỳ hiệu quả, và nhờ nhìn cả câu cùng lúc, Transformer chạy song song được trên hàng nghìn nhân chip. Nhà sản xuất chip đồ hoạ hưởng lợi lớn từ đây, như Nhật Phúc đã giải thích trong bài GPU là gì và vì sao GPU chạy được AI.

Cái giá: tăng theo bình phương độ dài

Vấn đề nằm ở chữ “mọi”. Nếu ngữ cảnh có n token, mỗi token phải chấm điểm với n token, tức khoảng n × n phép chấm điểm cho mỗi đầu chú ý, ở mỗi lớp. Văn bản 1.000 token cần khoảng 1 triệu cặp; 10.000 token cần 100 triệu cặp; 100.000 token cần 10 tỷ cặp. Dài gấp 10 lần, khối lượng chấm điểm gấp 100 lần.

Đó là lý do cửa sổ ngữ cảnh không thể to vô hạn: bộ nhớ chip và thời gian tính toán sẽ không theo kịp. Các kỹ sư đã nghĩ ra nhiều cách giảm gánh nặng, như sắp xếp lại phép tính để tiết kiệm bộ nhớ (tiêu biểu là kỹ thuật FlashAttention), chỉ cho mỗi token chú ý tới một vùng lân cận, hay điều chỉnh cách mô hình đánh dấu vị trí token. Nhờ vậy cửa sổ mới lớn lên nhanh như hiện nay, nhưng chi phí vẫn tăng theo độ dài, nên nhà cung cấp vẫn phải đặt giới hạn.

Cửa sổ ngữ cảnh lớn lên thế nào qua các năm

Chỉ trong vài năm, cửa sổ ngữ cảnh đã lớn lên khoảng 500 lần. Dưới đây là các cột mốc tiêu biểu, số token được làm tròn.

Để dễ hình dung: 4.000 token là vài trang giấy, đủ cho một cuộc trò chuyện ngắn. 100.000 token chứa được cả một cuốn tiểu thuyết mỏng. Theo Google, 1 triệu token tương đương khoảng 700.000 từ tiếng Anh, hoặc khoảng 1 giờ video. Ngày nay, cửa sổ từ 128.000 token trở lên đã trở nên phổ biến, kể cả ở các mô hình mã nguồn mở chạy được trên máy cá nhân.

Chuyện gì xảy ra khi vượt cửa sổ ngữ cảnh

Khi tổng token vượt giới hạn, ứng dụng phải chọn bỏ bớt thứ gì đó. Mỗi sản phẩm làm một kiểu, và thường kết hợp nhiều cách.

Cắt bỏ phần cũ nhất

Cách đơn giản nhất là bỏ các lượt hỏi đầu tiên. Đây chính là lý do chatbot “quên” lời dặn bạn đưa ra từ đầu buổi. Lời dặn không biến mất khỏi màn hình của bạn, nhưng đã rơi khỏi mặt bàn của mô hình.

Tóm tắt lại

Một số ứng dụng tự tóm tắt phần cũ thành vài đoạn ngắn rồi đặt bản tóm tắt vào cửa sổ. Ý chính còn giữ được, nhưng chi tiết như con số, tên riêng, định dạng yêu cầu có thể mất.

Báo lỗi hoặc từ chối

Với tài liệu tải lên quá lớn, nhiều dịch vụ báo “nội dung quá dài” và yêu cầu bạn chia nhỏ. Khi gọi API, lập trình viên sẽ nhận lỗi vượt giới hạn token nếu không tự kiểm soát độ dài.

Cửa sổ lớn chưa chắc nhớ tốt: hiện tượng lạc ở giữa

Có cửa sổ 1 triệu token không có nghĩa mô hình tận dụng tốt cả 1 triệu token. Năm 2023, nhóm nghiên cứu do Nelson F. Liu dẫn đầu (Đại học Stanford và cộng sự) công bố nghiên cứu “Lost in the Middle”, tạm dịch là lạc ở giữa. Họ đặt một thông tin cần tìm ở các vị trí khác nhau trong một ngữ cảnh dài và đo xem mô hình trả lời đúng bao nhiêu.

Kết quả có hình chữ U: mô hình làm tốt nhất khi thông tin nằm ở đầu hoặc cuối ngữ cảnh, và kém đi rõ rệt khi thông tin nằm ở giữa. Con người cũng có hiện tượng gần giống, gọi là hiệu ứng vị trí: ta nhớ đầu và cuối danh sách tốt hơn phần giữa. Các mô hình đời mới đã cải thiện nhiều, nhưng bài học thực hành vẫn còn nguyên giá trị: đừng giấu yêu cầu quan trọng ở giữa một khối văn bản dài.

Ngoài ra, video cũng nhắc một điểm đáng nhớ: chú ý ở đây là phép tính dựa trên quy luật thống kê, không phải sự hiểu theo nghĩa của con người. Mô hình có thể chú ý sai chỗ mà vẫn trả lời với giọng rất tự tin, giống hiện tượng mà Nhật Phúc đã phân tích trong bài hộp đen AI là gì.

Nhồi hết vào cửa sổ hay dùng tra cứu RAG

Khi cần AI làm việc với kho tài liệu lớn (sổ tay nhân viên, hàng nghìn hợp đồng, toàn bộ tài liệu kỹ thuật của một sản phẩm), có hai chiến lược chính.

Nhồi cả tài liệu vào cửa sổ

Với cửa sổ đủ lớn, bạn có thể dán nguyên tài liệu vào và đặt câu hỏi. Cách này đơn giản, không cần cài đặt gì, và AI thấy được toàn cảnh. Nhược điểm: tốn nhiều token cho mỗi câu hỏi, trả lời chậm hơn, và dễ gặp hiện tượng lạc ở giữa.

Tra cứu rồi mới trả lời (RAG)

RAG (Retrieval-Augmented Generation, sinh câu trả lời có tra cứu) hoạt động như một thủ thư: trước khi trả lời, hệ thống tìm vài đoạn liên quan nhất trong kho tài liệu, rồi chỉ đặt những đoạn đó lên mặt bàn của mô hình. Cách này rẻ, nhanh và mở rộng được cho kho khổng lồ. Đổi lại, bạn phải dựng hệ thống tìm kiếm, và nếu tìm sai đoạn thì câu trả lời cũng sai theo.

Trong thực tế, nhiều doanh nghiệp kết hợp cả hai: dùng RAG để lọc ra vài chục trang liên quan, rồi tận dụng cửa sổ lớn để AI đọc kỹ những trang đó. Đây cũng là nền tảng của nhiều trợ lý AI nội bộ và quy trình tự động hoá văn phòng hiện nay.

Cửa sổ ngữ cảnh và tiếng Việt

Có một điểm riêng mà người dùng Việt nên biết: cùng một ý, câu tiếng Việt thường tốn nhiều token hơn câu tiếng Anh, vì bộ từ vựng của nhiều mô hình được xây chủ yếu từ dữ liệu tiếng Anh. Nhật Phúc đo bằng thư viện tiktoken của OpenAI (bộ tách o200k_base): câu “Trí tuệ nhân tạo đang thay đổi cách chúng ta làm việc mỗi ngày.” tốn 25 token, bản tiếng Anh cùng ý chỉ 11 token.

Hệ quả: với cùng một cửa sổ, tài liệu tiếng Việt chạm trần sớm hơn tài liệu tiếng Anh có cùng số trang, và cuộc trò chuyện tiếng Việt dài cũng “quên” sớm hơn. Bạn có thể đọc phân tích chi tiết kèm bảng đo trong bài tiếng Việt tốn token hơn tiếng Anh: đo thực tế và cách tối ưu.

6 mẹo để AI không quên điều quan trọng

Bạn không cần biết lập trình để quản lý cửa sổ ngữ cảnh. Sáu thói quen dưới đây áp dụng được cho ChatGPT, Gemini, Claude, Copilot và hầu hết chatbot khác.

1. Mỗi chủ đề một cuộc trò chuyện

Đang hỏi về kế hoạch du lịch mà chuyển sang sửa báo cáo? Hãy mở chat mới. Lịch sử không liên quan chỉ làm đầy bàn và có thể làm AI lẫn lộn bối cảnh.

2. Đặt yêu cầu chính ở đầu hoặc cuối

Khi dán tài liệu dài, viết yêu cầu ngay trước tài liệu, và nhắc lại ngắn gọn ở cuối. Tránh để câu hỏi quan trọng chìm giữa hàng chục trang văn bản.

3. Tóm tắt rồi mở chat mới

Khi cuộc trò chuyện đã dài, hãy nhờ AI “tóm tắt các quyết định và yêu cầu đã chốt”, rồi dán bản tóm tắt đó vào một cuộc trò chuyện mới. Bạn có một mặt bàn sạch mà vẫn giữ được bối cảnh.

4. Chỉ dán phần tài liệu cần thiết

Mục lục, phụ lục, chân trang lặp lại, bảng số liệu không liên quan đều tốn token. Cắt bỏ trước khi dán giúp AI tập trung hơn và trả lời nhanh hơn.

5. Nhắc lại ràng buộc quan trọng

Định dạng đầu ra, độ dài, đối tượng người đọc, giọng văn: nếu cuộc trò chuyện đã dài, hãy nhắc lại trong yêu cầu mới thay vì tin rằng AI còn nhớ lời dặn từ đầu.

6. Hỏi lại để kiểm tra

Trước khi tin vào bản tóm tắt một tài liệu dài, hãy hỏi thử vài chi tiết cụ thể, chẳng hạn “ý chính ở mục 4.2 là gì”. Nếu AI trả lời sai, có thể phần đó đã bị cắt khỏi cửa sổ hoặc bị lạc ở giữa.

Hiểu lầm phổ biến về cửa sổ ngữ cảnh

“Cửa sổ 1 triệu token nghĩa là AI nhớ mọi thứ về tôi”

Cửa sổ chỉ tồn tại trong một phiên xử lý. Hết phiên, mặt bàn được dọn sạch. Một số chatbot có thêm tính năng “bộ nhớ” lưu vài ghi chú về bạn, nhưng đó là cơ chế riêng: ứng dụng lưu ghi chú rồi chèn lại vào cửa sổ ở lần sau, chứ không phải cửa sổ ngữ cảnh tự kéo dài mãi.

“Đưa tài liệu vào cửa sổ là AI học luôn”

Không. Đọc tài liệu trong cửa sổ không làm thay đổi mô hình. Muốn mô hình thật sự học thêm kiến thức hay phong cách mới, người ta phải huấn luyện thêm, ví dụ bằng kỹ thuật được giải thích trong bài fine-tuning là gì.

“Cửa sổ càng to càng chính xác”

Cửa sổ to cho phép đưa nhiều thông tin hơn, nhưng thông tin thừa cũng có thể làm nhiễu. Văn bản gọn, đúng trọng tâm thường cho câu trả lời tốt hơn một khối tài liệu khổng lồ.

Câu hỏi thường gặp

Làm sao biết chatbot tôi dùng có cửa sổ ngữ cảnh bao nhiêu?

Xem trang tài liệu hoặc trang giới thiệu mô hình của nhà cung cấp, thường ghi dạng “128K”, “200K” hay “1M” token. Lưu ý gói miễn phí và gói trả phí của cùng một dịch vụ có thể có cửa sổ khác nhau, và ứng dụng chat đôi khi dùng cửa sổ nhỏ hơn mức tối đa của mô hình.

Cửa sổ ngữ cảnh khác dữ liệu huấn luyện thế nào?

Dữ liệu huấn luyện là kho văn bản khổng lồ mô hình đã học trước đó, tạo nên kiến thức nền của nó. Cửa sổ ngữ cảnh là phần văn bản mô hình đang đọc ngay lúc trả lời bạn. Ví von: dữ liệu huấn luyện là những gì một người đã học ở trường, còn cửa sổ là tài liệu đang để trên bàn.

Vì sao AI vẫn quên dù cuộc trò chuyện chưa dài lắm?

Có thể chỉ dẫn hệ thống, tài liệu đính kèm hoặc kết quả tìm kiếm web đã chiếm nhiều chỗ, hoặc ứng dụng chủ động tóm tắt phần cũ để tiết kiệm chi phí. Cũng có thể lời dặn nằm ở vùng giữa và bị mô hình chú ý ít hơn. Nhắc lại ràng buộc quan trọng là cách khắc phục nhanh nhất.

Cửa sổ ngữ cảnh lớn có làm AI trả lời chậm hơn không?

Có. Ngữ cảnh càng dài, mô hình càng mất nhiều thời gian đọc trước khi viết chữ đầu tiên, và chi phí API cũng tăng theo số token đầu vào. Đó là lý do nên chỉ đưa phần thông tin thật sự cần thiết.

Robot và trợ lý tự động có bị giới hạn cửa sổ ngữ cảnh không?

Có, nếu chúng dùng mô hình ngôn ngữ để lập kế hoạch. Một AI agent làm nhiều bước liên tiếp phải giữ lịch sử thao tác, kết quả công cụ và mục tiêu trong cửa sổ. Việc dài quá thì agent cũng phải tóm tắt hoặc ghi chú ra ngoài, giống con người ghi sổ tay khi làm dự án lớn.

Kết luận

Cửa sổ ngữ cảnh là mặt bàn làm việc của AI: mọi thứ nó cần để trả lời phải nằm trên đó, và bàn có kích thước giới hạn vì cơ chế chú ý buộc mỗi token nhìn mọi token khác. Hiểu điều này, bạn sẽ không còn ngạc nhiên khi chatbot quên lời dặn đầu buổi, và biết cách giữ cho nó tập trung: mỗi chủ đề một cuộc trò chuyện, yêu cầu chính đặt ở đầu hoặc cuối, chỉ đưa thông tin thật sự cần.

Con người giải câu đố con mèo và hàng rào trong một giây mà không nhận ra mình đã chú ý như thế nào; còn máy cần cả một phát minh để làm được điều đó, kèm theo giới hạn của riêng nó. Bạn đã bao giờ thấy chatbot quên mất điều bạn dặn chưa? Hãy kể trong phần bình luận, và theo dõi Nhật Phúc để đọc thêm những bài giải thích AI dễ hiểu.

The post Cửa sổ ngữ cảnh là gì? Vì sao AI quên đầu cuộc trò chuyện appeared first on Nhật Phúc.