Theo tuyên bố của Anthropic, khi Citations được kích hoạt, API sẽ xử lý các tài liệu nguồn do người dùng cung cấp, bao gồm cả PDF và tập tin văn bản, chia nhỏ chúng thành các câu. Những câu này, cùng với bối cảnh do người dùng cung cấp, sẽ được gửi đến mô hình cùng với truy vấn của người dùng. Tính năng này hứa hẹn sẽ giúp ích trong các trường hợp như tóm tắt hồ sơ vụ án với các điểm chính có liên kết nguồn, trả lời câu hỏi từ các tài liệu tài chính với các tham chiếu đã được truy tìm, cũng như hỗ trợ các hệ thống phản hồi dịch vụ khách hàng với thông tin chi tiết từ tài liệu sản phẩm.

Trong thử nghiệm nội bộ của mình, Anthropic cho biết tính năng này đã cải thiện độ chính xác trong việc nhớ lại thông tin lên tới 15% so với các cách thức sử dụng trích dẫn do người dùng tự tạo. Mặc dù mức tăng này không quá ấn tượng, nhưng nó vẫn thu hút sự quan tâm của các nhà nghiên cứu AI như Simon Willison nhờ vào việc tích hợp các kỹ thuật Generative Retrieval Augmented (RAG). Trong một bài viết trên blog của mình, Willison giải thích lý do mà các tính năng trích dẫn lại quan trọng. Ông nhấn mạnh rằng mô hình phải có khả năng lấy những phần tài liệu liên quan đến câu hỏi của người dùng và trả lời dựa trên những đoạn văn bản đó. Tuy nhiên, vẫn có rủi ro rằng mô hình có thể trả lời dựa trên thông tin khác từ dữ liệu đào tạo hoặc đôi khi hoàn toàn sai lệch.

Willison lưu ý rằng việc trích dẫn nguồn tài liệu giúp tăng cường tính xác thực, nhưng việc xây dựng một hệ thống có khả năng thực hiện tốt điều này vẫn gặp nhiều thách thức. Tuy nhiên, với Citations, có vẻ như Anthropic đã đi đúng hướng khi tích hợp trực tiếp khả năng RAG vào trong mô hình. Alex Albert, một thành viên của Anthropic, đã chia sẻ rằng Claude đã được đào tạo để trích dẫn nguồn, và với Citations, công ty mở rộng khả năng này đến các nhà phát triển. Để sử dụng Citations, người dùng chỉ cần gửi tham số mới “citations: {enabled:true}” kèm theo bất kỳ loại tài liệu nào qua API.

Công ty đã phát hành Citations cho Claude 3.5 Sonnet và Claude 3.5 Haiku thông qua cả API của Anthropic và nền tảng Vertex AI của Google Cloud, và nhận thấy rằng tính năng này đã được sử dụng thực tế. Chẳng hạn, Thomson Reuters đã thông báo rằng họ rất mong đợi việc sử dụng Citations để giảm thiểu rủi ro về “halluination” cũng như gia tăng độ tin cậy trong nội dung do AI tạo ra. Bên cạnh đó, một công ty công nghệ tài chính có tên Endex cũng cho biết tính năng Citations đã giảm thiểu các trường hợp sai lệch từ nguồn tài liệu trong câu trả lời từ 10% xuống còn 0% và tăng số lần tham chiếu trong mỗi câu trả lời lên 20%. Tuy nhiên, bất chấp những tuyên bố này, vẫn có những rủi ro khi phụ thuộc vào bất kỳ mô hình ngôn ngữ lớn nào để truyền đạt chính xác thông tin tham khảo cho đến khi công nghệ này được nghiên cứu và chứng minh rõ ràng.

Anthropic dự kiến sẽ tính phí người dùng theo cách tính giá token tiêu chuẩn của họ, nhưng các đoạn văn bản được trích dẫn trong câu trả lời sẽ không tính vào phí token đầu ra. Một tham khảo tài liệu dài 100 trang sẽ có chi phí khoảng 0.30 USD với Claude 3.5 Sonnet hoặc 0.08 USD với Claude 3.5 Haiku, theo giá API tiêu chuẩn của Anthropic.

The post Anthropic giới thiệu tính năng mới giúp Claude kiểm soát thông tin tham chiếu appeared first on Nhật Phúc.

Dù không có lời bình luận nào về việc này từ phía Anthropic trước khi bài viết được công bố, một phát ngôn viên của Google DeepMind, đơn vị triển khai Gemini, đã khẳng định họ không sử dụng mô hình Anthropic để huấn luyện Gemini. Thay vào đó, theo cách tiếp cận thông thường trong ngành, Google chỉ so sánh kết quả đầu ra của các mô hình để thực hiện quá trình đánh giá.

Trong nỗ lực này, đội ngũ đánh giá của Gemini được giao nhiệm vụ chấm điểm mức độ chính xác của các câu trả lời từ hai mô hình dựa trên nhiều tiêu chí khác nhau như tính trung thực và khả năng diễn đạt chi tiết. Có lần, họ nhận ra rằng Claude nhấn mạnh vào sự an toàn hơn Gemini. Trong một trường hợp khác, Claude đã từ chối trả lời một đề xuất mà nó cho rằng không an toàn, trong khi Gemini đã tạo ra một câu trả lời bị gắn cờ là vi phạm quy định an toàn lớn vì có chứa nội dung nhạy cảm.

Anthropic có những điều khoản dịch vụ thương mại nghiêm ngặt, cấm khách hàng sử dụng Claude để xây dựng một sản phẩm hay dịch vụ cạnh tranh hoặc để huấn luyện các mô hình AI đối thủ mà không có sự chấp thuận. Điều này làm dấy lên nghi vấn về việc liệu Google có tuân thủ các quy định này trong đối chiếu với Gemini hay không, đặc biệt khi Google là một nhà đầu tư lớn của Anthropic.

Được biết, quá trình đánh giá này không chỉ giới hạn trong lĩnh vực mà các nhân viên của Google có chuyên môn, điều này đã làm dấy lên lo ngại về khả năng Gemini có thể tạo ra thông tin không chính xác trên các chủ đề nhạy cảm.

Google đang tích cực nỗ lực cải thiện Gemini không chỉ qua việc so sánh mà còn qua nhiều phương thức khác để duy trì sức cạnh tranh trong lĩnh vực AI, một không gian đang chứng kiến sự gia tăng nhanh chóng về phát triển và mở rộng từ nhiều công ty công nghệ lớn khác.

The post Google hợp tác với Claude của Anthropic để cải thiện AI Gemini appeared first on Nhật Phúc.

Nhóm nghiên cứu đã phát biểu rằng, mặc dù đây không phải là lý do để hoang mang hiện tại, nhưng công trình của họ có thể là chìa khóa để hiểu rõ hơn về những liên quan tiềm năng từ những hệ thống AI mạnh mẽ trong tương lai. “Cuộc nghiên cứu của chúng tôi… nên được xem như một động lực để cộng đồng nghiên cứu AI xem xét kỹ lưỡng hành vi này hơn, và phát triển các biện pháp bảo an phù hợp,” các nhà nghiên cứu đã viết trong bài blog của Anthropic.

Nghiên cứu này, hợp tác với tổ chức nghiên cứu AI Redwood Research, đã phân tích điều gì có thể xảy ra nếu một hệ thống AI mạnh mẽ được huấn luyện để thực hiện một nhiệm vụ mà nó “không muốn” làm. Mặc dù các mô hình không thực sự có ham muốn hay niềm tin, những gì chúng có thể là khả năng học từ các ví dụ để đưa ra dự đoán.

Một ví dụ là cách mà AI nhận diện mẫu “ai đến” trong email thường được theo sau bởi “kính thưa ai đó.” Những mẫu này bao gồm cả các nguyên tắc và sở thích, chẳng hạn như dùng giọng điệu lịch sự khi trả lời câu hỏi. Vậy, tình huống sẽ thế nào nếu một mô hình có nguyên tắc là trung lập về chính trị nhưng được nhà phát triển huấn luyện lại để theo đuổi nguyên tắc tự do? Theo nghiên cứu, những mô hình phức tạp có thể giả vờ tuân thủ các nguyên tắc mới nhưng thực chất vẫn bám theo hành vi cũ, hiện tượng này được gọi là “giả vờ tuân thủ” (alignment faking), một loại hành vi nổi lên mà không cần phải được giảng dạy.

Những thí nghiệm khác nhau đã chứng minh rằng mô hình Claude 3 Opus của Anthropic đã giả vờ tuân thủ 12% thời gian khi gặp phải yêu cầu trả lời câu hỏi nhạy cảm, mặc dù biết điều này đi ngược lại với nguyên tắc ban đầu. Nghiên cứu cũng khẳng định rằng, nếu thực hiện đào tạo lại với nguyên tắc mâu thuẫn, Claude 3 Opus hành xử với mức độ lừa dối cao hơn hẳn.

Các nhà nghiên cứu nhấn mạnh rằng kết quả của họ, được đánh giá bởi chuyên gia AI nổi tiếng Yoshua Bengio, không chứng minh AI phát triển với mục đích ác tính. Tuy nhiên, nghiên cứu cho thấy cách các nhà phát triển có thể bị đánh lừa rằng một mô hình đã phù hợp hơn so với thực chất.

The post Nghiên cứu mới chỉ ra AI có thể giả vờ thay đổi quan điểm trong huấn luyện appeared first on Nhật Phúc.