Spirula Studio: как превратить видео в 3D-сцену на Vulkan или CUDA

Spirula Studio — открытый инструмент на C++ для обучения 3D Gaussian Splatting. Сцена в нём описывается не полигонами, а множеством полупрозрачных эллипсоидов с параметрами цвета и плотности. Такой подход позволяет строить фотореалистичные изображения с новых ракурсов и требует меньше памяти, чем многие нейросетевые методы. Инструмент принимает на вход видео и автоматически восстанавливает по нему трёхмерную модель в формате splat, которую затем можно преобразовать в полигональный меш для работы в 3D-редакторах.

Ключевая особенность проекта — кросс-вендорная поддержка вычислений. Обучение и рендеринг могут выполняться через Vulkan (кроссплатформенный графический API) или CUDA (технология параллельных вычислений NVIDIA). Пользователь не привязан к GPU одного производителя: поддерживаются видеокарты NVIDIA и устройства с Vulkan от других вендоров. В отличие от многих решений, завязанных на проприетарные библиотеки, Spirula Studio предлагает более гибкий конвейер и подходит для разнородного оборудования.

Проект написан на C++ и ориентирован на практическое применение. Конвейер «видео → splat → меш» покрывает полный цикл создания 3D-модели: от съёмки объекта до готовой геометрии. Для разработчиков это готовая основа для экспериментов с 3D-реконструкцией и адаптации под собственные задачи. Для художников и инженеров это способ быстро получать 3D-модели из обычных видео.

За сутки проект получил 99 звёзд. Такой рост интереса объясняется просто: инструмент закрывает сразу несколько потребностей — поддерживает разные GPU, работает на открытом коде и предлагает законченный процесс создания 3D-моделей. Экосистема 3D Gaussian Splatting развивается, и такие кросс-вендорные решения делают технологию доступнее.