S-Space: как мультимодальные модели кодируют пространство
Мультимодальные языковые модели (MLLM) демонстрируют впечатляющие способности к пространственным рассуждениям, однако внутренние механизмы, которые обеспечивают эти способности, остаются малоизученными. Исследователи обнаружили S-Space — линейное подпространство представлений, в…
Главное
- S-Space — линейное подпространство для координат объектов
- Оси: горизонтальная, вертикальная и дистанционная
- Подпространство внутреннее, не зависит от данных
- Открытие улучшает интерпретируемость MLLM
- Потенциал для робототехники и дополненной реальности
Мультимодальные языковые модели (MLLM) демонстрируют впечатляющие способности к пространственным рассуждениям, однако внутренние механизмы, которые обеспечивают эти способности, остаются малоизученными. Исследователи обнаружили S-Space — линейное подпространство представлений, в котором токены объектов кодируют непрерывные координаты по горизонтальной, вертикальной и дистанционной осям. Это открытие проливает свет на то, как модели понимают пространственные отношения между объектами на изображениях.
S-Space было выявлено путём дифференцирования оценок пространственных ответов относительно активаций токенов объектов. Важно, что это подпространство является внутренним свойством модели, а не следствием специфики обучающих данных. Оно возникает естественным образом в процессе обучения и используется для решения задач, требующих пространственного мышления, таких как определение относительного расположения объектов или оценка расстояний.
Практическое значение этого открытия велико: оно может помочь в разработке более интерпретируемых и контролируемых систем ИИ, а также улучшить архитектуры MLLM для задач навигации, робототехники и дополненной реальности. Понимание того, как модели представляют пространство, открывает путь к более точной настройке и исправлению ошибок в пространственных рассуждениях.