Почему LLM не могут самообучаться: эксперимент с записью весов

Нейросети, способные генерировать тексты и код, всё чаще называют шагом к искусственному интеллекту общего типа. Однако недавний эксперимент показал: даже самые продвинутые большие языковые модели (LLM) не могут самостоятельно улучшать собственные параметры.

Почему LLM не могут самообучаться: эксперимент с записью весов
Почему LLM не могут самообучаться: эксперимент с записью весов

Главное

  • LLM могут читать свои веса, но не могут их изменять.
  • 20 шагов тонкой настройки не дают устойчивого самосовершенствования.
  • Самообучение требует новых подходов, а не правки параметров.
  • Эксперимент ограничивает ожидания от автономного ИИ.

Нейросети, способные генерировать тексты и код, всё чаще называют шагом к искусственному интеллекту общего типа. Однако недавний эксперимент показал: даже самые продвинутые большие языковые модели (LLM) не могут самостоятельно улучшать собственные параметры. Исследователь провёл неделю, проверяя, могут ли LLM «программировать веса» — то есть напрямую изменять свои внутренние коэффициенты для повышения производительности.

Оказалось, что модели действительно способны читать свои веса: они могут анализировать числовые значения параметров и даже интерпретировать их. Но когда дело доходит до самосовершенствования, всё упирается в тупик. Даже после 20 шагов тонкой настройки, направленной на улучшение, внесённые изменения полностью стираются. Это означает, что модели не могут устойчиво модифицировать себя, чтобы стать лучше без внешнего вмешательства.

Почему это важно? Если бы LLM могли корректировать свои веса, они могли бы обучаться на своих ошибках без участия человека. Но текущая архитектура не позволяет этого: процесс обучения остаётся внешним и управляется алгоритмами оптимизации, а не самой моделью. Это ограничение принципиально, поскольку оно отделяет современные нейросети от настоящего самообучающегося ИИ.

Эксперимент подчёркивает разрыв между возможностью модели анализировать свои параметры и способностью их изменять. Чтение весов — это пассивный процесс, а их запись требует активного управления, которое пока недоступно. Исследование даёт чёткий сигнал: путь к самоулучшающимся системам лежит не через простую модификацию весов, а через новые архитектуры и методы обучения.