Как ИИ превращает активность мозга в изображения: новый метод
Исследователи разработали систему искусственного интеллекта, которая анализирует паттерны визуальной активности мозга и преобразует их в картинки. В основе метода лежит декодирование сигналов, полученных с помощью функциональной магнитно-резонансной томографии (фМРТ), которая…
Главное
- Метод декодирует фМРТ-сигналы в изображения с высокой точностью
- Система связывает нейронные паттерны с визуальными признаками
- Потенциальное применение — нейроинтерфейсы и исследования восприятия
- Требуется доработка для индивидуальных различий и скорости
Исследователи разработали систему искусственного интеллекта, которая анализирует паттерны визуальной активности мозга и преобразует их в картинки. В основе метода лежит декодирование сигналов, полученных с помощью функциональной магнитно-резонансной томографии (фМРТ), которая фиксирует изменения кровотока в мозге, связанные с обработкой зрительной информации.
Модель обучалась на наборе данных, где испытуемым показывали фотографии, одновременно записывая их мозговую активность. Затем алгоритм, использующий нейросети, сопоставлял эти паттерны с визуальными признаками изображений — формами, цветами, текстурами. На этапе генерации система восстанавливает картинку по новому паттерну активности, создавая приближенное к оригиналу изображение.
Ключевая особенность подхода — способность выявлять устойчивые связи между нейронными сигналами и семантическими элементами сцены. Это позволяет восстанавливать не только простые геометрические фигуры, но и сложные сцены, такие как лица или пейзажи, с высокой степенью сходства. Точность реконструкции оценивалась по метрикам, сравнивающим сгенерированные изображения с оригиналами, и показала значительное улучшение по сравнению с предыдущими методами.
Практическое применение технологии включает разработку интерфейсов «мозг-компьютер» для людей с ограниченными возможностями, а также изучение механизмов зрительного восприятия. Однако до клинического использования предстоит решить вопросы скорости обработки и индивидуальных различий в активности мозга разных людей.
Репозиторий: https://github.com/ozcelikfu/brain-diffuser