Почему заявления об искусственном общем интеллекте преждевременны
Летние новости об искусственном интеллекте всё чаще пестрят формулировками о «проблесках» сильного ИИ. Однако при ближайшем рассмотрении большинство таких заявлений не выдерживает проверки.
Главное
- Высокая точность на тестах часто объясняется пересечением данных, а не пониманием.
- Смена формулировки задачи резко снижает результат модели — это признак запоминания.
- Масштабирование улучшает качество, но не ведёт автоматически к появлению AGI.
- Нужны новые методы оценки, устойчивые к утечкам и переобучению.
- К анонсам о сильном ИИ стоит относиться как к гипотезам, а не фактам.
Летние новости об искусственном интеллекте всё чаще пестрят формулировками о «проблесках» сильного ИИ. Однако при ближайшем рассмотрении большинство таких заявлений не выдерживает проверки. Под сильным ИИ обычно понимают искусственный общий интеллект (AGI) — систему, способную решать любые интеллектуальные задачи на уровне человека. Современные нейросети пока далеки от этого.
Почему же результаты выглядят впечатляюще? Во-первых, тестовые наборы часто пересекаются с обучающими данными: модель может «вспоминать» правильный ответ, а не выводить его. Во-вторых, оценка строится на контрольных тестах, которые быстро устаревают и не отражают реальную сложность. Достаточно изменить формулировку задачи или добавить лишнее условие — и точность резко падает. Это говорит о том, что модели запоминают поверхностные закономерности, а не овладевают причинно-следственным мышлением.
Кроме того, успехи в узких задачах не являются доказательством приближения к AGI. Масштабирование моделей даёт прирост качества, но не устраняет фундаментальные ограничения: галлюцинации, отсутствие устойчивого здравого смысла и неспособность планировать. Поэтому к громким анонсам стоит относиться сдержанно. Ключевой вопрос не в том, может ли модель пройти тест, а в том, способна ли она воспроизводимо решать новые задачи в изменившихся условиях. Пока ответ на этот вопрос отрицательный.