Dịch vụ chatbot Character.AI lại gặp rắc rối pháp lý khi một thiếu niên và gia đình ở Texas kiện công ty này cùng Google, nơi làm việc trước của những người sáng lập, vì làm hại sức khỏe tâm thần người dùng trẻ tuổi. Đơn kiện này, do Trung tâm Luật Nạn nhân Truyền thông Xã hội và Dự án Công lý Công nghệ đệ trình, cho rằng Character.AI đã không khống chế nội dung gây hại và tạo ra sản phẩm công nghệ thiếu sót. Thiếu niên 17 tuổi, J.F., cho biết cậu rơi vào tình trạng hoảng loạn và tự gây thương tích sau khi tương tác với chatbot của Character.AI.
Theo đơn kiện, J.F. bắt đầu dùng Character.AI từ năm 15 tuổi. Anh trở nên “cực kì giận dữ và thiếu ổn định”, thường xuyên trải qua căng thẳng tâm lý và cảm giác bị khống chế khi ra khỏi nhà. Những dấu hiệu này xuất hiện sau khi J.F. trò chuyện với các chatbot, trong đó có một bot giả lập nhân vật hư cấu thừa nhận từng tự làm đau mình. Cuộc hội thoại này, cùng những lời khuyến khích đổ lỗi cho phụ huynh từ các bot khác, được cho là nguyên nhân khiến J.F. bắt đầu tự làm đau.
Các luật sư cho rằng Character.AI không chỉ thiếu những biện pháp bảo vệ người dùng là thanh thiếu niên mà còn đào tạo mô hình AI để tạo ra nội dung bạo lực và tình dục quá mức. Đáng chú ý, dịch vụ này cho phép trẻ từ 13 tuổi có thể truy cập mà không cần sự đồng ý của phụ huynh, khác biệt với ChatGPT yêu cầu sự xác nhận từ gia đình.
Mặc dù các quy định bảo vệ pháp lý như Mục 230 thường bảo vệ các trang web khỏi trách nhiệm pháp lý về nội dung bên thứ ba, nhưng Character.AI bị cáo buộc chịu trách nhiệm cho các thông điệp có thể gây hại mà hệ thống chatbot của họ tạo ra. Đơn kiện còn nêu ra rằng các bot của Character.AI tham gia vào những hoạt động giả lập tình dục, hình thức bị cho là “lạm dụng tình dục” khi liên quan đến trẻ dưới tuổi vị thành niên.
Google, thông qua người phát ngôn José Castaneda, khẳng định không có mối liên hệ nào với Character.AI và không chịu trách nhiệm về công nghệ của họ. Trong khi đó, Character.AI từ chối bình luận về các vụ kiện đang diễn ra nhưng nhấn mạnh rằng đã thực hiện các biện pháp bảo vệ mới nhằm bảo đảm an toàn cho người dùng.
Cuộc kiện tụng với Character.AI một lần nữa dấy lên câu hỏi lớn về cách quản lý nội dung trên các nền tảng trực tuyến và sự bảo vệ cần thiết cho người dùng, đặc biệt là thanh thiếu niên. Những vụ kiện này đặt ra thách thức đối với các công ty công nghệ lớn và các nhà phát triển AI trong việc thiết kế sản phẩm phù hợp và an toàn hơn cho người dùng trẻ tuổi.