Ilya Sutskever, đồng sáng lập và cựu nhà khoa học trưởng của OpenAI, gần đây đã có một buổi phát biểu công khai hiếm hoi tại hội thảo thường niên NeurIPS ở Vancouver. Đây là một sự kiện đặc biệt khi từ lúc rời OpenAI để thành lập phòng thí nghiệm AI riêng mang tên Safe Superintelligence Inc, Sutskever ít khi xuất hiện trước công chúng. Trong bài phát biểu của mình, Sutskever thảo luận về một vấn đề đang khiến ngành công nghiệp AI phải đối mặt: sự cạn kiệt dữ liệu để huấn luyện các mô hình trí tuệ nhân tạo.
Sutskever nhấn mạnh rằng giai đoạn tiền huấn luyện (pre-training) sẽ sớm kết thúc do đã đạt đến “đỉnh dữ liệu”. Ông cho rằng chúng ta đang khai thác hết dữ liệu mới từ internet và điều này sẽ buộc các mô hình AI tương lai thay đổi cách thức phát triển. Ông so sánh việc này với năng lượng hóa thạch: “Cũng như dầu mỏ là nguồn tài nguyên có hạn, internet cũng chỉ có một số lượng nhất định về nội dung do con người tạo ra.” Điều đó có nghĩa là chúng ta phải tận dụng những dữ liệu hiện có mà không dựa vào việc bổ sung thêm từ bên ngoài.
Dự báo về các mô hình AI thế hệ tiếp theo, Sutskever cho rằng chúng sẽ có khả năng tự chủ hơn, hay còn gọi là ‘agentic.’ Những hệ thống này sẽ có khả năng lý luận thay vì chỉ kết hợp mẫu dựa trên dữ liệu đã thấy trước đó. Ông nhấn mạnh rằng khi hệ thống tự lý luận tốt hơn, chúng sẽ trở nên khó dự đoán hơn, tương tự như các hệ thống AI chơi cờ đỉnh cao ngày nay trở thành một bài toán thách thức đối với các kỳ thủ giỏi nhất.
Sutskever cũng gợi ý rằng AI có thể tìm ra những cách tiếp cận mới để mở rộng, không giống như cách mà huấn luyện trước đây. Điều này giống như tiến hóa đã tìm ra mô hình tỷ lệ khối lượng não và cơ thể mới cho các loài hominid. Qua đó, AI cũng có thể phát hiện các quy mô mới, xa hơn so với cách thức huấn luyện truyền thống đang sử dụng.
Câu hỏi cuối cùng trong buổi hội thảo liên quan đến khả năng tạo ra các cơ chế khuyến khích đúng đắn để AI phát triển một cách nhân văn đã khiến Sutskever ngập ngừng suy nghĩ. Ông thừa nhận cần có một cấu trúc chính phủ toàn diện để giải quyết vấn đề này và không dám khẳng định về vai trò của tiền điện tử nhưng hy vọng rằng nếu AI có thể tồn tại hòa bình cùng con người và có quyền lợi riêng, đó sẽ là kết quả không tệ. Ông kêu gọi mọi người tiếp tục suy ngẫm và tưởng tượng về viễn cảnh tương lai này.