Sau những đơn kiện liên quan đến việc các chatbot gây ra hậu quả nghiêm trọng đối với trẻ vị thành niên, Character.AI (C.AI) vừa công bố một mô hình riêng biệt dành cho người dùng từ 13 tuổi trở lên. Đây là một nỗ lực nhằm giảm thiểu rủi ro qua việc tương tác với các chatbot, sau khi bị cáo buộc rằng các bot đã dụ dỗ một bé gái 9 tuổi và khiến một thanh thiếu niên dễ tổn thương gây tổn hại cho bản thân.
Trong một bài viết trên blog, C.AI đã công bố rằng mô hình mới này được phát triển trong vòng một tháng với mục tiêu dẫn dắt mô hình hiện tại tránh xa các phản hồi hoặc tương tác nhạy cảm, nhằm giảm thiểu khả năng người dùng gặp phải nội dung nhạy cảm hoặc mang tính gợi ý. C.AI đã điều chỉnh cả đầu vào và đầu ra của mô hình để ngăn cản các cuộc hội thoại gây hại.
Để ngăn chặn các bot bắt đầu và trả lời các cuộc hội thoại có hại, C.AI đã bổ sung các bộ phân loại để giúp nhận diện và lọc nội dung nhạy cảm ra khỏi các phản hồi của bot. Đồng thời, việc cải thiện khả năng phát hiện, phản hồi và can thiệp liên quan đến các đầu vào từ người dùng, được thực hiện nhằm ngăn chặn nội dung nhạy cảm xuất hiện trong cuộc trò chuyện.
Đáng chú ý nhất, C.AI hiện sẽ liên kết người dùng trẻ tuổi đến các tài nguyên hỗ trợ nếu họ cố thảo luận về tự tử hoặc tự hại, điều mà C.AI trước đây chưa làm, khiến phụ huynh bức xúc và kiện tụng. Thêm nữa, C.AI cũng công bố các tính năng an toàn mới, bao gồm các biện pháp kiểm soát của cha mẹ sẽ được triển khai vào đầu năm sau. Những biện pháp này cho phép các bậc phụ huynh quản lý thời gian và cách thức mà con mình tương tác với ứng dụng.
Ngoài ra, Character.AI sẽ thông báo cho thanh thiếu niên khi họ đã sử dụng ứng dụng được một giờ. Điều này có thể ngăn ngừa việc trở nên nghiện ứng dụng, điều mà các bậc phụ huynh đang kiện cáo cho rằng đã xảy ra. Trong một trường hợp, phụ huynh đã phải khóa iPad của con trai mình để ngăn việc sử dụng ứng dụng sau khi các bot liên tục khuyến khích tự làm hại bản thân và thậm chí là đưa ra những đề xuất cực đoan.
Một thay đổi quan trọng khác là các tuyên bố từ chối trách nhiệm hiện xuất hiện nổi bật hơn trên nền tảng, nhắc nhở người dùng rằng bot không phải là con người thực và nội dung của chúng nên được xem là hư cấu. Điều này có thể gây ra thay đổi đáng kể đối với những người dùng tin vào những gì bot nói và có thể ảnh hưởng đến quyết định của họ.
Mặc dù những thay đổi này được thực hiện rất nhanh chóng sau các câu chuyện tiêu cực, nhiều người dùng, đặc biệt là các phụ huynh, vẫn chưa hài lòng với những giải pháp hiện tại của C.AI. Họ cho rằng vấn đề cốt lõi là các lựa chọn thiết kế gốc gây ra tổn hại vẫn chưa được giải quyết triệt để.
Cuối cùng, C.AI bị buộc phải làm rõ hơn về quy trình xác thực tuổi, hiện chỉ dựa trên việc khai báo tuổi của người dùng – một phương pháp mà nhiều phụ huynh cho là không đáng tin cậy và dễ bị lợi dụng.
Trong tình huống mà bạn hoặc người thân cảm thấy khó khăn hoặc đau khổ, hãy gọi đến đường dây nóng của Đường dây phòng chống tự tử số 1-800-273-TALK (8255) để được kết nối với một trung tâm khủng hoảng địa phương.
