WeVisOne-VL: унифицированная модель для точного визуального восприятия
Современные мультимодальные модели, объединяющие обработку текста и изображений, часто справляются с грубыми задачами вроде классификации, но теряют точность, когда требуется детальное понимание визуальной сцены. Новый подход WeVisOne-VL (WeChat Vision All-in-One) предлагает…
Главное
- Объединяет объектное и пиксельное восприятие в одной модели
- Поддерживает детекцию, сегментацию, OCR и matting
- Позволяет задавать произвольную гранулярность локализации
- Основана на структурированном предсказании следующего токена
Современные мультимодальные модели, объединяющие обработку текста и изображений, часто справляются с грубыми задачами вроде классификации, но теряют точность, когда требуется детальное понимание визуальной сцены. Новый подход WeVisOne-VL (WeChat Vision All-in-One) предлагает решение, объединяя восприятие объектов и пикселей в единой архитектуре.
Модель построена на принципе структурированного предсказания следующего токена: она учится предсказывать не только слова, но и визуальные элементы — координаты, маски, альфа-каналы. Это позволяет ей выполнять широкий спектр задач: обнаружение объектов, локализацию по текстовому описанию, подсчет предметов, распознавание текста (OCR), сегментацию и выделение объектов (matting). Пользователь может указать уровень детализации — от точки и рамки до полной маски или альфа-канала.
В отличие от многих существующих моделей, которые специализируются на одной задаче, WeVisOne-VL демонстрирует универсальность, сохраняя при этом высокую точность на тонких визуальных различиях. Это делает её перспективной основой для приложений, где важна не только общая семантика, но и пространственная структура изображения, например, в автоматизированной обработке документов, редактировании фото или робототехнике.
Репозиторий: https://github.com/Tencent/WeVisOne-VL