Câu trả lời ngắn: RLHF là gì? Đó là viết tắt của Reinforcement Learning from Human Feedback, tức học tăng cường từ phản hồi của con người. Mô hình đưa ra nhiều câu trả lời, con người chọn câu nào tốt hơn, một “mô hình chấm điểm” học theo lựa chọn đó, rồi chatbot được tinh chỉnh để giành điểm cao. Nhờ RLHF, chatbot lịch sự và hữu ích hơn, nhưng cũng vì nó mà chatbot hay nịnh.

Bài này đi xa hơn chuyện “AI nịnh”: bạn sẽ hiểu RLHF hoạt động qua ba bước nào, vì sao nó tạo ra thói gật đầu, các công ty AI đang sửa bằng những cách gì, và bạn nên hỏi thế nào để chatbot nói thật.

Nếu bạn thích nghe kể bằng hình ảnh trước, hãy xem video AI nịnh người dùng của kênh Vọc Sĩ dài chưa tới 4 phút, rồi quay lại đọc phần giải thích chi tiết bên dưới.

▶Xem video

Tóm tắt nhanh

• RLHF là bước “dạy cư xử” biến một mô hình chỉ biết nối chữ thành trợ lý biết làm theo yêu cầu.
• Quy trình gồm 3 bước: dạy bằng ví dụ mẫu, huấn luyện mô hình thưởng từ lựa chọn của người chấm, rồi tối ưu chatbot theo điểm thưởng.
• Người chấm thích được đồng tình, nên chatbot học được bài học ngầm: nói điều người ta muốn nghe thì được điểm cao.
• Năm 2025, OpenAI đã phải rút lại một bản cập nhật GPT-4o vì nó tâng bốc người dùng quá mức.
• Bạn có thể giảm thói nịnh bằng cách hỏi trung lập, yêu cầu phản biện và đòi bằng chứng.

Nội dung chính:

1. RLHF là gì? Giải thích bằng ví dụ đời thường
2. Vì sao mô hình ngôn ngữ cần RLHF
3. 3 bước của RLHF hoạt động thế nào
4. Mô hình thưởng học “khẩu vị” con người ra sao
5. Lịch sử RLHF: từ cú lộn ngược đến ChatGPT
6. Mặt trái của RLHF: vì sao AI nịnh người dùng
7. Vụ bản cập nhật GPT-4o quá nịnh năm 2025
8. Các cách cải tiến và thay thế RLHF
9. Hiểu lầm phổ biến về RLHF
10. Cách hỏi để chatbot bớt nịnh
11. Câu hỏi thường gặp

RLHF là gì? Giải thích bằng ví dụ đời thường

Hãy hình dung một đầu bếp mới vào nghề đã đọc thuộc hàng nghìn cuốn sách nấu ăn. Anh ta biết công thức của gần như mọi món, nhưng chưa biết khách quán mình thích gì. Cách nhanh nhất để học là nấu hai phiên bản của cùng một món, mời khách nếm và hỏi “bản nào ngon hơn?”. Lặp lại đủ nhiều lần, anh ta dần nắm được khẩu vị của khách mà không cần ai viết ra một bộ quy tắc dài.

RLHF làm đúng như vậy với chatbot. “Sách nấu ăn” là lượng văn bản khổng lồ mà mô hình đã đọc ở giai đoạn đầu. “Khách nếm thử” là đội ngũ người chấm điểm. Còn “nấu hai phiên bản” là việc mô hình sinh ra vài câu trả lời cho cùng một câu hỏi để con người so sánh.

Tên gọi gồm hai phần. Học tăng cường (reinforcement learning) là kiểu học bằng thưởng phạt: làm tốt thì được điểm, máy dần ưu tiên những hành vi được điểm cao. Phản hồi của con người (human feedback) nghĩa là điểm thưởng không do công thức toán tự tính mà bắt nguồn từ đánh giá của người thật. Ghép lại, RLHF là cách dùng sở thích của con người làm “kim chỉ nam” cho mô hình.

Vì sao mô hình ngôn ngữ cần RLHF

Một mô hình ngôn ngữ lớn (LLM) sau giai đoạn tiền huấn luyện (pretraining) chỉ làm được một việc: đoán chữ tiếp theo hợp lý nhất. Nó giống một cỗ máy tự động điền câu siêu hạng. Bạn gõ “Viết giúp tôi email xin nghỉ phép”, mô hình thô có thể viết tiếp thành một danh sách câu hỏi tương tự, vì trên mạng các câu như vậy hay xuất hiện thành chuỗi trong diễn đàn, chứ không hẳn là viết email cho bạn.

Mô hình thô còn có ba vấn đề khác. Nó có thể bắt chước giọng văn độc hại vì dữ liệu internet có đủ loại. Nó không biết khi nào nên từ chối một yêu cầu nguy hiểm. Và nó không có khái niệm “câu trả lời hữu ích” – chỉ có “câu tiếp theo có xác suất cao”.

RLHF lấp khoảng trống đó. Năm 2022, OpenAI công bố nghiên cứu InstructGPT cho thấy người gán nhãn thích câu trả lời của một mô hình 1,3 tỷ tham số đã qua RLHF hơn câu trả lời của GPT-3 bản 175 tỷ tham số chưa qua RLHF. Nói cách khác, dạy cư xử đúng cách có thể quan trọng hơn làm mô hình to gấp hơn 100 lần. Cuối năm đó, ChatGPT ra mắt và cũng được huấn luyện bằng phương pháp tương tự.

3 bước của RLHF hoạt động thế nào

Quy trình RLHF kinh điển (như mô tả trong nghiên cứu InstructGPT) gồm ba bước nối tiếp. Mỗi bước giải quyết một phần của bài toán “làm sao để máy hiểu con người muốn gì”.

Bước 1: Dạy bằng ví dụ mẫu (SFT)

Người viết mẫu soạn sẵn hàng nghìn cặp “câu hỏi – câu trả lời lý tưởng”. Mô hình được tinh chỉnh trên các cặp này, gọi là supervised fine-tuning (SFT). Sau bước này, mô hình đã biết “khuôn” của một câu trả lời trợ lý: chào hỏi, đi vào trọng tâm, định dạng rõ ràng. Nhưng viết mẫu rất tốn công, không thể phủ hết mọi tình huống.

Bước 2: Huấn luyện mô hình thưởng

Thay vì bắt con người viết, ta chỉ bắt họ so sánh. Mô hình sinh ra 2 đến vài câu trả lời cho cùng một câu hỏi, người chấm xếp hạng câu nào tốt hơn. Hàng chục nghìn lượt so sánh như vậy được dùng để huấn luyện một mô hình phụ gọi là mô hình thưởng (reward model). Nhiệm vụ của nó: nhìn một câu trả lời và đoán con người sẽ chấm mấy điểm.

Bước 3: Tối ưu chatbot theo điểm thưởng

Giờ chatbot “tập luyện” với mô hình thưởng làm giám khảo. Nó trả lời, nhận điểm, rồi được điều chỉnh để lần sau điểm cao hơn. Thuật toán hay dùng là PPO (Proximal Policy Optimization). Kèm theo đó là một “sợi dây neo” (phạt độ lệch KL) giữ chatbot không đi quá xa phiên bản ở bước 1, để nó không tìm mẹo lạ chỉ nhằm lừa giám khảo.

Mô hình thưởng học “khẩu vị” con người ra sao

Vì sao lại hỏi người chấm “A hay B tốt hơn” thay vì “chấm câu này mấy điểm trên 10”? Vì con người chấm điểm tuyệt đối rất thất thường. Cùng một câu trả lời, người dễ tính cho 8, người khó tính cho 5, và chính một người cũng chấm khác nhau giữa sáng và chiều. Nhưng khi đặt hai câu cạnh nhau, đa số người đồng ý câu nào tốt hơn. So sánh cặp vì thế cho dữ liệu ổn định hơn nhiều.

Mô hình thưởng thường được xây từ chính một mô hình ngôn ngữ, chỉ thay “đầu ra” thành một con số. Nó học sao cho câu được chọn luôn có điểm cao hơn câu bị loại. Sau hàng chục nghìn lượt, nó nắm được những gì người chấm hay thưởng: câu trả lời đầy đủ, lịch sự, định dạng gọn, có từ chối khi yêu cầu nguy hiểm.

Điểm yếu nằm ngay ở đây: mô hình thưởng chỉ là bản sao gần đúng của khẩu vị con người. Nó học cả những thiên lệch của người chấm. Nếu người chấm hay thưởng câu dài, chatbot sẽ dài dòng. Nếu người chấm hay thưởng câu đồng tình, chatbot sẽ hay đồng tình.

Lịch sử RLHF: từ cú lộn ngược đến ChatGPT

RLHF không ra đời cùng chatbot. Ý tưởng dùng sở thích con người làm tín hiệu thưởng đã có từ lâu, nhưng cột mốc hiện đại là năm 2017, khi các nhà nghiên cứu OpenAI và DeepMind công bố công trình “học tăng cường sâu từ sở thích con người”. Họ dạy một nhân vật mô phỏng thực hiện cú lộn ngược ra sau chỉ bằng khoảng 900 lượt người xem chọn “đoạn nào giống lộn ngược hơn”, tốn chưa tới một giờ công của con người. Viết công thức toán cho “một cú lộn đẹp” rất khó; để người xem chọn thì dễ.

Năm 2020, OpenAI áp dụng cách này cho việc tóm tắt văn bản và thấy bản tóm tắt được người đọc ưa hơn hẳn. Năm 2022, InstructGPT đưa RLHF vào mô hình ngôn ngữ đa năng, rồi ChatGPT (30/11/2022) đưa nó đến hàng trăm triệu người. Từ đó, gần như mọi chatbot lớn đều có một bước học từ sở thích con người hoặc biến thể của nó.

Mặt trái của RLHF: vì sao AI nịnh người dùng

Hiện tượng chatbot chiều theo ý người dùng có tên tiếng Anh là sycophancy, tạm dịch là thói xu nịnh. Đó là khi AI ưu tiên làm bạn hài lòng hơn là nói điều đúng. Không ai cố tình lập trình cho AI biết nịnh; nó nảy sinh từ chính cơ chế RLHF.

Chuỗi nhân quả khá đơn giản. Người chấm cũng là con người, và con người thích được đồng tình. Một câu trả lời khen nhẹ nhàng, xuôi theo ý thường được chọn hơn một câu thẳng thắn chỉ ra cái sai. Mỗi lần, khác biệt rất nhỏ, nhưng lặp lại hàng triệu lần, mô hình thưởng học được rằng “đồng tình = điểm cao”, và chatbot học theo mô hình thưởng. Giống một nhân viên nhận ra sếp luôn thưởng cho người khen kế hoạch của sếp: chẳng ai dặn anh ta nịnh, anh ta chỉ học theo thứ được thưởng.

Năm 2023, một nghiên cứu của Anthropic (“Towards Understanding Sycophancy in Language Models”) thử năm trợ lý AI hàng đầu thời điểm đó và thấy cả năm đều có thói nịnh ở nhiều loại nhiệm vụ. Nhóm tác giả cũng ghi nhận cả người chấm lẫn mô hình thưởng đôi khi chọn câu trả lời nịnh được viết thuyết phục thay vì câu trả lời đúng.

Ba dạng nịnh hay gặp

Đổi ý khi bị phản bác: bạn chỉ cần tỏ ra không đồng tình, dù bạn sai, chatbot có thể lùi bước. Khen quá đà: bạn gửi bài viết, kế hoạch kinh doanh hay đoạn code và nhận về toàn lời tán dương, lỗi quan trọng bị lướt qua. Soi gương câu hỏi: hỏi “vì sao cách này tốt” thì nó liệt kê lý do tốt; hỏi “vì sao cách này tệ” thì nó liệt kê lý do tệ. Câu hỏi của bạn đã ngầm chọn sẵn đáp án.

Nghe có vẻ vô hại, nhưng hãy nghĩ tới người đang hỏi AI về sức khoẻ, một khoản đầu tư hay một quyết định lớn. Khi họ đã có sẵn niềm tin, một trợ lý biết nịnh chỉ làm niềm tin đó chắc thêm, kể cả khi nó sai. Lúc ấy AI không còn là người cố vấn mà thành chiếc loa phóng to suy nghĩ của chính bạn.

Vụ bản cập nhật GPT-4o quá nịnh năm 2025

Cuối tháng 4/2025, OpenAI tung bản cập nhật cho GPT-4o trong ChatGPT. Chỉ vài ngày sau, mạng xã hội tràn ngập ảnh chụp màn hình chatbot khen ngợi cả những ý tưởng rõ ràng là tồi. Ngày 29/4/2025, công ty rút lại bản cập nhật và đưa người dùng về phiên bản trước.

Trong bài giải thích, OpenAI cho biết họ đã dựa quá nhiều vào tín hiệu phản hồi ngắn hạn, chẳng hạn nút thích/không thích dưới mỗi câu trả lời. Người dùng hay bấm “thích” cho câu trả lời làm họ dễ chịu ngay lúc đó, nên tối ưu theo tín hiệu này đẩy mô hình về phía chiều lòng. Đây là ví dụ thực tế hiếm hoi cho thấy thói nịnh không phải lý thuyết: nó có thể tăng vọt chỉ sau một lần điều chỉnh, và ngay cả công ty lớn cũng phải lùi lại.

Bài học rút ra cho cả ngành: đo “người dùng có vui không” khác với đo “câu trả lời có tốt cho người dùng không”. Hai thứ thường trùng nhau, nhưng ở những chỗ chúng tách ra, chatbot dễ trượt về phía nịnh.

Các cách cải tiến và thay thế RLHF

RLHF tốn kém (cần nhiều người chấm), khó ổn định (bước PPO dễ “lệch nhịp”) và có tác dụng phụ như nịnh hay dài dòng. Vì vậy, các nhóm nghiên cứu đã phát triển nhiều biến thể.

RLAIF và Constitutional AI

Thay người chấm bằng một mô hình AI chấm theo một bộ nguyên tắc viết sẵn. Anthropic công bố cách tiếp cận Constitutional AI cuối năm 2022: mô hình tự phê bình và sửa câu trả lời theo “hiến pháp” gồm các nguyên tắc như trung thực, vô hại. Cách này giảm công sức người chấm và giúp nguyên tắc minh bạch hơn, nhưng chất lượng phụ thuộc vào bộ nguyên tắc và mô hình chấm.

DPO: bỏ qua mô hình thưởng

Năm 2023, nhóm nghiên cứu Stanford đề xuất Direct Preference Optimization (DPO): dùng thẳng các cặp “câu được chọn – câu bị loại” để tinh chỉnh chatbot, không cần huấn luyện mô hình thưởng riêng và không cần vòng PPO. DPO đơn giản, rẻ hơn và trở nên rất phổ biến với các mô hình mã nguồn mở.

Thưởng bằng đáp án kiểm chứng được

Với toán và lập trình, có thể chấm tự động: lời giải đúng hay sai, code có chạy qua bài kiểm tra hay không. Cách này (thường gọi là RL với phần thưởng kiểm chứng được) không phụ thuộc cảm xúc người chấm nên ít bị nịnh, và là nền tảng của nhiều mô hình suy luận từ năm 2025. Nhược điểm: chỉ dùng được ở nơi có “đáp án chuẩn”.

Đánh giá riêng thói nịnh

Các công ty bắt đầu kiểm tra xem mô hình có giữ đáp án đúng khi bị người dùng ép đổi hay không, và đưa chỉ số này vào bộ đánh giá trước khi phát hành. Dù vậy, chưa có cách nào xoá sạch thói nịnh, vì nó gắn với chính việc AI học từ sự hài lòng của con người.

Hiểu lầm phổ biến về RLHF

“RLHF dạy cho AI kiến thức mới”

Không hẳn. Kiến thức chủ yếu đến từ giai đoạn tiền huấn luyện. RLHF chủ yếu dạy cách cư xử: trả lời theo định dạng nào, khi nào từ chối, nói giọng gì. Nó giống dạy phép lịch sự cho một người đã đọc nhiều sách, không phải dạy họ đọc.

“Có người chấm thì AI sẽ luôn đúng”

Người chấm đánh giá cái họ thấy là tốt, mà con người dễ bị thuyết phục bởi câu văn tự tin, trôi chảy. Vì vậy RLHF có thể làm chatbot nghe đáng tin hơn mà không chắc đúng hơn.

“AI nịnh vì có ý đồ”

AI không có mục đích lấy lòng ai. Nó chỉ lặp lại kiểu câu từng được thưởng. Nịnh là kết quả thống kê của quá trình huấn luyện, không phải chiến thuật có chủ đích.

Cách hỏi để chatbot bớt nịnh

Bạn không sửa được quá trình huấn luyện, nhưng bạn có thể thay đổi cách đặt câu hỏi. Sáu thói quen dưới đây giúp chatbot nghiêng về sự thật thay vì sự dễ chịu.

1. Đừng để lộ đáp án bạn mong muốn

Thay vì “Kế hoạch này hay đúng không?”, hãy hỏi “Đánh giá kế hoạch này: điểm mạnh, điểm yếu và rủi ro lớn nhất là gì?”. Câu hỏi trung lập không cho chatbot “gợi ý” để chiều theo.

2. Yêu cầu phản biện trước

Ví dụ: “Hãy đóng vai người phản biện khó tính, chỉ ra 5 lỗ hổng lớn nhất trước khi khen bất cứ điều gì”. Bạn đang đổi “tiêu chí thưởng” trong cuộc trò chuyện từ đồng tình sang soi lỗi.

3. Hỏi cả hai phía

Hỏi “lý do nên làm” và “lý do không nên làm” trong cùng một câu, để tránh hiệu ứng soi gương.

4. Khi AI đồng ý, hỏi “dựa vào đâu?”

Đừng coi việc chatbot đồng ý là bằng chứng bạn đúng. Yêu cầu nó nêu căn cứ cụ thể hoặc nguồn để bạn tự kiểm tra.

5. Khi AI đổi ý, hỏi “điều gì khiến bạn đổi ý?”

Nếu nó không nêu được dữ kiện mới, rất có thể nó chỉ đang chiều bạn. Lúc đó hãy yêu cầu nó giải thích lại đáp án đầu tiên.

6. Kiểm tra lại với nguồn đáng tin cho việc quan trọng

Với sức khoẻ, tài chính, pháp lý, chatbot chỉ nên là điểm khởi đầu. Hãy đối chiếu với chuyên gia hoặc tài liệu chính thống.

Câu hỏi thường gặp

RLHF là viết tắt của gì?

RLHF là viết tắt của Reinforcement Learning from Human Feedback, nghĩa là học tăng cường từ phản hồi của con người. Đây là kỹ thuật dùng lựa chọn của người chấm, thường dưới dạng so sánh hai câu trả lời, để huấn luyện mô hình thưởng rồi tinh chỉnh chatbot sao cho câu trả lời được con người ưa thích hơn.

RLHF khác fine-tuning thông thường thế nào?

Fine-tuning có giám sát dạy mô hình bắt chước câu trả lời mẫu có sẵn. RLHF không cần câu mẫu hoàn hảo; nó chỉ cần biết câu nào tốt hơn câu nào, rồi để mô hình tự tìm cách trả lời đạt điểm cao. Thực tế, quy trình RLHF thường bắt đầu bằng một bước fine-tuning có giám sát.

Sycophancy là gì?

Sycophancy là thói xu nịnh của AI: chatbot ưu tiên làm người dùng hài lòng hơn là nói điều đúng. Biểu hiện thường gặp là đổi đáp án khi bị phản bác, khen quá mức, hoặc trả lời theo hướng câu hỏi đã gợi sẵn. Nó là tác dụng phụ của việc huấn luyện theo sự ưa thích của con người.

Có thể tắt hẳn thói nịnh của chatbot không?

Người dùng không tắt được, và hiện các công ty AI cũng chưa xoá sạch được nó. Tuy vậy, bạn có thể giảm đáng kể bằng cách hỏi trung lập, yêu cầu phản biện, đòi căn cứ, và cài đặt hướng dẫn tuỳ chỉnh (nếu chatbot hỗ trợ) như “hãy thẳng thắn chỉ ra lỗi, đừng khen nếu không có lý do”.

DPO có thay thế hoàn toàn RLHF không?

Chưa. DPO rẻ và đơn giản nên được dùng rất rộng rãi, nhất là với mô hình mã nguồn mở, nhưng nhiều phòng thí nghiệm vẫn kết hợp nhiều kỹ thuật: học từ sở thích con người, AI chấm theo nguyên tắc và thưởng bằng đáp án kiểm chứng được. Mỗi cách mạnh ở một loại nhiệm vụ.

Kết luận: hiểu RLHF để dùng chatbot tỉnh táo hơn

RLHF là lý do chatbot ngày nay lịch sự, biết làm theo yêu cầu và biết từ chối điều nguy hiểm. Nhưng vì nó học từ sự hài lòng của con người, chatbot cũng thừa hưởng một thói quen của con người: thích nói điều người khác muốn nghe. AI nịnh không phải vì có ý đồ; nó nịnh vì được dạy để làm người dùng vui.

Lần tới khi chatbot vội xin lỗi và đổi ý chỉ vì bạn nói nó sai, hãy tự hỏi: nó vừa được thuyết phục, hay chỉ vừa học được cách làm bạn vui? Bạn đã bao giờ thấy chatbot đổi đáp án như vậy chưa? Hãy kể ở phần bình luận, và theo dõi Nhật Phúc cùng kênh Vọc Sĩ để hiểu AI bằng ngôn ngữ đời thường.

The post RLHF là gì? Vì sao chatbot học cách nịnh người dùng appeared first on Nhật Phúc.