ИИ Neuralangelo создает трехмерные сцены из видео

Neuralangelo - модель искусственного интеллекта от Nvidia, которая восстанавливает трехмерные сцены по обычным видеороликам. Она пригодится в дизайне, архитектуре, искусстве, разработке игр и создании цифровых двойников.

На чем основана модель

Neuralangelo построена на технологии Nvidia Instant NeRF (Neural Radiance Fields), которая создает реалистичные виртуальные модели. С ее помощью можно получить точные копии зданий, скульптур и других реальных объектов, а затем экспортировать их в сторонние приложения для редактирования.

Как Neuralangelo превращает видео в 3D

На вход подается 2D-видео объекта или сцены, снятое с разных ракурсов. По нескольким кадрам модель определяет глубину, размер и форму объектов и строит черновое трехмерное представление.

Затем система уточняет его: делает детали четче и убирает лишнее, примерно как скульптор, который постепенно отсекает материал. Так видео становится объемной моделью, похожей на 3D-визуализацию, но полученной без ручного моделирования.

Скорость и качество

Рендеринг и обучение модели выполняются на графическом процессоре с тонким распределением вычислений, что позволяет эффективнее управлять потоком данных и быстрее обрабатывать сцену. Кроме того, Nvidia применила многоуровневое хеш-кодирование сетки (hash grid с несколькими разрешениями), которое дает баланс между скоростью и качеством результата.

Модель справляется со сложными текстурами и материалами, например черепицей, стеклом и мрамором. Поэтому итоговые сцены получаются детализированными и реалистичными.

Где пригодится технология

• Дизайнеры и архитекторы смогут строить реалистичные модели зданий и пространств и точно визуализировать свои концепции.
• Разработчики игр получат инструмент для более правдоподобных игровых миров и персонажей.
• Художники смогут использовать сцены для цифровых произведений искусства.
• Компании смогут создавать цифровые двойники реальных объектов.

Neuralangelo продолжает линию разработок Nvidia в области ИИ и компьютерной графики. Для отраслей, где нужна трехмерная визуализация, это шаг к тому, чтобы получать готовую сцену из обычной видеосъемки.