Ключевые выводы
- Nvidia недавно продемонстрировала технику, которая превращает 2D-фотографии в 3D-сцены за считанные секунды.
- Метод использует мощность компьютера, чтобы примерно представить, как свет ведет себя в реальном мире.
- Метавселенная - это одна из областей, где 3D-сцены полезны, потому что их можно просматривать с любой точки зрения камеры.
Новая технология искусственного интеллекта (ИИ) от Nvidia вскоре сможет превращать 2D-фотографии в 3D-сцены за считанные секунды, делая создание иммерсивных виртуальных пространств, таких как метавселенная, таким же тривиальным, как обработка текста.
Nvidia недавно продемонстрировала фотометод под названием Instant NeRF, который использует вычислительную мощность для аппроксимации того, как свет ведет себя в реальном мире. Он может превратить ваши старые фотографии в сцену видеоигры, или его можно использовать для обучения роботов и беспилотных автомобилей понимать размер и форму объектов реального мира.
«3D-изображение приносит новый мир преобразований», - сказал в интервью Lifewire Орен Дебби, генеральный директор Visionary.ai, компании, занимающейся компьютерным зрением, которая запускает свои 3D-алгоритмы на платформе Nvidia. «Используя 3D, вы имитируете реальную глубину сцены и делаете изображение более живым и реалистичным. Помимо AR/VR и промышленных камер, где 3D очень распространено, мы теперь видим, что оно используется почти на каждом смартфоне без пользователь даже не знает."
Добавление параметров
Первая мгновенная фотография, сделанная 75 лет назад камерой Polaroid, стремилась быстро запечатлеть трехмерный мир в двухмерном изображении. Теперь исследователи искусственного интеллекта работают над противоположным: превращая коллекцию неподвижных изображений в цифровую 3D-сцену за считанные секунды.
Известный как инверсный рендеринг, этот процесс использует ИИ для аппроксимации того, как свет ведет себя в реальном мире, что позволяет исследователям реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами. Nvidia утверждает, что разработала подход, который решает эту задачу почти мгновенно.
Nvidia использовала этот подход с новой технологией, называемой нейронными полями излучения, или NeRF. Компания заявляет, что результат, получивший название Instant NeRF, является самой быстрой техникой NeRF на сегодняшний день. Модели требуется всего несколько секунд, чтобы обучиться на нескольких десятках неподвижных фотографий, а затем она может визуализировать результирующую 3D-сцену за десятки миллисекунд.
«Если традиционные 3D-представления, такие как полигональные сетки, сродни векторным изображениям, то NeRF подобны растровым изображениям: они плотно фиксируют то, как свет исходит от объекта или внутри сцены», - Дэвид Любке, вице-президент по графическим исследованиям в В пресс-релизе Nvidia говорится: «В этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, - значительно увеличивая скорость, простоту и охват 3D-захвата и обмена.”
Сбор данных для NeRF требует, чтобы нейронная сеть захватила несколько десятков изображений, сделанных из разных точек сцены, а также положение камеры для каждого из этих снимков.
NeRF обучает небольшую нейронную сеть реконструировать сцену, предсказывая цвет света, излучаемого в любом направлении из любой точки трехмерного пространства.
Привлекательность 3D
Метавселенная - это одна из областей, где 3D-сцены полезны, потому что их можно просматривать с любой точки зрения камеры, - сказал Брэд Куинтон, основатель Perceptus Platform для дополненной реальности (AR), в интервью Lifewire по электронной почте. Точно так же, как мы можем ходить по комнате в реальной жизни и видеть ее содержимое с разных ракурсов, с реконструированной 3D-сценой мы можем виртуально перемещаться по пространству и рассматривать его с любой точки зрения.
«Это может быть особенно полезно для создания сред для использования в виртуальной реальности», - сказал Куинтон.
Такие программы, как Apple Object Capture, используют метод фотограмметрии для создания виртуальных 3D-объектов из серии 2D-изображений. Куинтон предсказал, что 3D-модели будут широко использоваться в приложениях виртуальной реальности и дополненной реальности. Например, некоторые ИИ, такие как платформа Perceptus AR, используют 3D-модели для понимания реального мира, что позволяет использовать приложения дополненной реальности в реальном времени.
Использование 3D-изображений также имитирует реальную глубину сцены и делает изображение более живым и реалистичным, говорит Дебби. Для создания эффекта боке (он же портретный режим или кинематографический режим) необходимо 3D-отображение глубины. Техника используется практически на каждом смартфоне.
«Это уже стандарт для профессиональных видеооператоров, снимающих фильмы, и становится стандартом для каждого потребителя», - добавила Дебби.
