DeepMind входящая в состав Alphabet и тесно контактирующая с Google, показала свои новые наработки и новую нейронную сеть. Новая нейронка способна, обработав изображения, создать трехмерный объект или целое 3D-пространство.
Для создания и тренировки сети использовали фреймворк Generative Query Network (GQN). При тренировке сети использовали нестандартный подход к обучению. Ранее, для создание подобных сетей необходимо было загружать большой массив изображений и вручную указывать сети, где какой объект. Наработки DeepMind позволили автоматизировать процесс, дали сети возможность самой понимать объекты.
В зависимости от этого сеть не только создает 3D-пространство и объекты из полученного 2D-изображения, но и управляет внутри пространства освещением, тенями и многими другими элементами.
Процесс сложный и пока не получится создать слишком детализированное пространство с большим объемом, но это только начало. Перспективы применения большие. Первое что может прийти на ум – создание фильмов, игр, симуляции событий, использование в дизайне и многое другое.