Dựa trên thử nghiệm của các nhà nghiên cứu tại Trung tâm Báo chí Số của Columbia, công cụ tìm kiếm ChatGPT của OpenAI đang gặp những rắc rối nghiêm trọng trong việc đưa ra câu trả lời chính xác. Được tung ra vào tháng 10 dành cho người đăng ký, OpenAI từng khẳng định rằng công cụ này có thể mang đến “các câu trả lời nhanh chóng, kịp thời với các liên kết đến nguồn web liên quan.” Tuy nhiên, trang tin Futurism cho biết nhóm nghiên cứu đã chỉ ra rằng ChatGPT thường xuyên gặp khó khăn trong việc xác định đúng nguồn gốc các trích dẫn từ các bài báo, ngay cả khi chúng đến từ những nhà xuất bản có thỏa thuận chia sẻ dữ liệu với OpenAI.
Trong cuộc kiểm tra, các tác giả đã yêu cầu ChatGPT xác định nguồn gốc của “hai trăm câu trích dẫn từ hai mươi ấn phẩm.” Bốn mươi trong số những câu trích dẫn đó được lấy từ các nhà xuất bản từ chối cho phép công cụ tìm kiếm của OpenAI truy cập vào trang web của họ. Tuy nhiên, chatbot vẫn tự tin đưa ra những thông tin sai lệch, hiếm khi thừa nhận rằng nó không chắc về các chi tiết mà nó cung cấp.
Tổng cộng, ChatGPT đã đưa ra các phản hồi không chính xác hoặc hoàn toàn không đúng trong một trăm năm mươi ba trường hợp, nhưng chỉ công nhận không thể đáp ứng chính xác câu hỏi trong bảy lần. Chỉ trong bảy phản hồi đó, chatbot mới sử dụng những cụm từ hoặc câu như “dường như,” “có thể,” hay “tôi không thể xác định rõ bài báo đó.”
Các tác giả thử nghiệm tại Trung tâm Tow đã ghi nhận những kết quả tìm kiếm của ChatGPT trong đó có sự nhầm lẫn khi gán một câu trích từ lá thư gửi tới tòa soạn của báo Orlando Sentinel cho một câu chuyện được xuất bản trên tạp chí Time. Trong một tình huống khác, khi được hỏi về nguồn gốc của câu trích từ một bài báo của New York Times về việc bảo vệ những con cá voi đang gặp nguy hiểm, công cụ này lại nằm trong liên kết tới một trang web khác đã sao chép hoàn toàn bài viết.
“Việc xác định sai nguồn gốc là khó giải quyết mà không có dữ liệu và phương pháp mà Trung tâm Tow đã giấu.” OpenAI chia sẻ với Columbia Journalism Review, “và nghiên cứu này là một thử nghiệm không thường thấy với sản phẩm của chúng tôi.” Công ty hứa hẹn “sẽ tiếp tục cải thiện kết quả tìm kiếm.”