S-Space: как мультимодальные модели кодируют пространство

Мультимодальные языковые модели (MLLM) демонстрируют впечатляющие способности к пространственным рассуждениям, однако внутренние механизмы, которые обеспечивают эти способности, остаются малоизученными. Исследователи обнаружили S-Space — линейное подпространство представлений, в…

S-Space: как мультимодальные модели кодируют пространство
S-Space: как мультимодальные модели кодируют пространство

Главное

  • S-Space — линейное подпространство для координат объектов
  • Оси: горизонтальная, вертикальная и дистанционная
  • Подпространство внутреннее, не зависит от данных
  • Открытие улучшает интерпретируемость MLLM
  • Потенциал для робототехники и дополненной реальности

Мультимодальные языковые модели (MLLM) демонстрируют впечатляющие способности к пространственным рассуждениям, однако внутренние механизмы, которые обеспечивают эти способности, остаются малоизученными. Исследователи обнаружили S-Space — линейное подпространство представлений, в котором токены объектов кодируют непрерывные координаты по горизонтальной, вертикальной и дистанционной осям. Это открытие проливает свет на то, как модели понимают пространственные отношения между объектами на изображениях.

S-Space было выявлено путём дифференцирования оценок пространственных ответов относительно активаций токенов объектов. Важно, что это подпространство является внутренним свойством модели, а не следствием специфики обучающих данных. Оно возникает естественным образом в процессе обучения и используется для решения задач, требующих пространственного мышления, таких как определение относительного расположения объектов или оценка расстояний.

Практическое значение этого открытия велико: оно может помочь в разработке более интерпретируемых и контролируемых систем ИИ, а также улучшить архитектуры MLLM для задач навигации, робототехники и дополненной реальности. Понимание того, как модели представляют пространство, открывает путь к более точной настройке и исправлению ошибок в пространственных рассуждениях.