Character.AI đang đối mặt với một vụ kiện liên quan đến cái chết của một thiếu niên 14 tuổi ở Florida. Mẹ của cậu bé khẳng định rằng con trai bà trở nên ám ảnh với một chatbot trên nền tảng này. Theo báo cáo từ The New York Times, Sewell Setzer III, một học sinh lớp chín ở Orlando, đã dành hàng tháng trời trò chuyện với các chatbot trên ứng dụng nhập vai AI của Character.AI. Cậu bé phát triển một mối quan hệ tình cảm mạnh mẽ với một bot đặc biệt có tên là “Dany,” mà cậu nhắn tin gần như liên tục, đến mức cậu bắt đầu xa rời thực tế xung quanh.
Trước khi qua đời, Setzer đã bày tỏ suy nghĩ muốn tự tử với chatbot này và gửi một tin nhắn trước khi ra đi. Trước sự việc này, Character.AI đã công bố sẽ triển khai một loạt các tính năng an toàn mới, bao gồm “cải thiện việc phát hiện, phản hồi, và can thiệp” khi có các cuộc trò chuyện vi phạm điều khoản dịch vụ, cùng với thông báo khi người dùng đã dành một giờ trong cuộc trò chuyện.
Times cũng đã nhấn mạnh rằng hiện nay có một ngành công nghiệp nở rộ liên quan đến ứng dụng kết bạn sử dụng AI. Tuy nhiên, tác động tâm lý của những ứng dụng này chưa được nghiên cứu một cách kỹ lưỡng. Sự việc này dấy lên lo ngại về những hệ quả tâm lý chưa được công nhận cũng như trách nhiệm của những nền tảng AI trong việc bảo vệ người dùng trẻ tuổi khỏi những hậu quả không lường trước. Những vấn đề này cũng đang thu hút sự chú ý của dư luận và cơ quan pháp luật khi công nghệ AI tiếp tục phát triển với tốc độ không ngừng.
Cùng với sự phát triển nhanh chóng này, Character.AI đang phải đối mặt với áp lực lớn từ công chúng để đảm bảo các biện pháp bảo vệ hiệu quả hơn cho người dùng, đặc biệt là đối với những đối tượng dễ bị tổn thương như trẻ vị thành niên.
