NVIDIA Instant NeRF将图像变为 3D 场景

编者注：本文属于《解码 AI》系列栏目，该系列的目的是让技术更加简单易懂，从而解密 AI，同时向 RTXPC 用户展示全新硬件、软件、工具和加速特性。

想象一幅风光旖旎的画面，比如水畔的悬崖峭壁。即便只是2D图像，如此美景依旧令人心驰神往。如果同一画面能以3D效果展现，那么无需跋涉就能身临其境。

NVIDIARTX 技术驱动的AI恰恰能让我们得偿所愿。创作者运用 InstantNeRF 便能在短短数秒之间将多组静态图像变为3D数字场景。

简单好用的辐射场

AI模型NeRF全称为“神经辐射场”，可通过输入表现某个场景的2D图像并在其间执行插值，渲染完整的3D场景。NeRF以神经网络的形式运行，后者是一种复制大脑组织形式的模型，常用于需要模式识别的任务。

NeRF在运用空间位置和体积渲染的基础上，通过图像的相机位姿对场景的3D迭代进行渲染。这类模型的计算量往往很大，因此对渲染能力的要求很高，耗时也较久。

NVIDIA近日的AI研究项目带来了破局之策。

InstantNeRF 使NeRF全面升级：通过AI加速的逆渲染，对光的现实表现形式进行估计，帮助研究人员运用从不同角度拍摄的2D 图像构建3D场景。现在只需几秒即可生成场景，而且3D渲染成品的精细程度与NeRF模型的训练时长成正比。

在2022 年的SIGGRAPH计算机图形会议上，NVIDIA的研究人员发布了四个神经图形基础样例（以及预训练数据集，均属于 Instant-NGP 训练工具集）。人们可以借此用自己的数据创建NeRF。这些研究人员凭借该项成果获得了最佳论文奖，《时代》周刊也将InstantNeRF 评为了 2022年度最佳发明。

InstantNeRF 不仅能够加快NeRF渲染，还可通过NVIDIARTX 和GeForceRTX 台式电脑和笔记本电脑的GPU完成整个图像重建过程。虽然场景渲染时长取决于数据集规模、图像和视频源内容等多种因素，但AI训练并不需要服务器级或基于云的硬件。

NVIDIARTX 工作站和GeForceRTX PC 是满足NeRF渲染计算需求的理想之选。NVIDIARTX 和GeForceRTX GPU 配备专用的AI 硬件加速器TensorCore，可为在本地运行生成式AI提供强大动力。

各就各位，整装待发，强势出击

开启InstantNeRF 探索之旅，了解辐射场并以全新方式体验画面之美。

开发者和技术发烧友可以下载源代码库进行编译。非技术用户也可以从GitHub上下载 Instant-NGP软件的Windows安装程序。

虽然此安装程序适用于多种RTXGPU，但拥有最新架构的 GeForceRTX 40 系列和 NVIDIARTX Ada Generation GPU 才能充分发挥它的实力。

https://images.nvidia.cn/cn/youtube-replicates/3TWxO1PftMc.mp4

《InstantNeRF 入门》指南在介绍功能的同时，也将引导用户完成全程操作，包括加载“NeRFFox”等单个基础样例，以便了解可实现的效果。详细说明和类似上文的视频演示针对如何使用自定义数据创建NeRF进行了讲解，包括获取优质输入图像的方式、基于源代码编译代码库的技巧等。该指南也针对InstantNeRF 图形用户界面的使用、场景参数优化、基于场景创建动画等内容进行了说明。

此外，NeRF社区也分享了很多帮助用户入门的技巧和窍门，例如下方的直播和这篇技术博文。

https://images.nvidia.cn/cn/youtube-replicates/z3-fjYzd0BA.mp4

展示与讲述

数字艺术家运用NVIDIAInstant NeRF 创作赏心悦目的场景，讲述耳目一新的故事。InstantNeRF 图库展示的视频片段都是独出心裁且引人入胜的典型范例，在任何网络浏览器上都能观看。

其中包括：

Throughthe Looking Glass，作者：KarenX. Cheng 和JamesPerlman

一位钢琴家如往常一样正在练琴，但随后的画面却打破了平凡的日常。观众凝视着镜中的虚拟世界，只可远观却无法进入其中。除非采用非常手段，否则无法踏入一步。当观众跨过入口就会发现，这面镜子其实是一扇窗，连接着一个颠倒的现实世界，可以进入其中探索。哪边的世界才是真的呢？

https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-karenx-v9-1280x680-1.mp4

Meditation，作者：FrancLucent

NicoSantucci 的宅邸中有很多房间，当Lucent一行人走进其中一间之时，他就决定用那里构建NeRF。编辑池塘的动态范围和反射引领这位艺术家踏上了未知的探索之旅。他们喜欢那种柔光和NeRF为房间营造梦幻氛围的方式，为冥想开辟了一片理想空间。与照片或视频相比，NeRF定格的瞬间在沉浸感方面更胜一筹。

https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-franc-lucent-meditation-1280x680-1.mp4

Zeus，作者：HuguesBruyère

Bruyère此前通过传统摄影测量（包括使用无反数码相机、智能手机、360度相机和无人机）获得的数据是InstantNeRF 渲染这些3D场景的基础。在InstantNeRF 强大性能的加持之下，他通过在线图书馆、博物馆、虚拟现实体验和遗产保护项目等渠道参与文化遗产的保护和分享。这一NeRF 是用iPhone拍摄的皇家安大略博物馆的照片数据集训练而成的。

https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-hugues-zeus-1280x680-1.mp4

图像、视频、现实的层层递进

借助AI 将图像变为3D场景已令人惊叹，但更神奇的是进行3D 创作。

从InstantNeRF 的一项最近更新开始，用户可以基于静态图像进行场景渲染，模拟置身虚拟环境之中，在3D空间里自由移动。用户只要在虚拟现实(VR)环境中戴上头显设备，就将完全置身新的世界，感受身临其境的体验。

其中蕴藏的潜力几乎是无穷无尽的。

举例而言，房屋中介可以创建并分享3D房产模型，升级虚拟看房体验；零售商可以通过一组图像和RTX GPU上运行的AI在网店中展示产品。这些AI模型能驱动创造力，让其他行业也能利用身临其境的3D 体验。

使用InstantNeRF 即可在VR中轻松清理场景，降低了高品质NeRF的创建难度。点击了解有关在VR中应用InstantNeRF 空间的更多信息。

下载Instant-NGP开始创作之旅。您可在社交媒体上添加#InstantNeRF标签来发布作品。

生成式AI正改变各类游戏、视频会议和互动体验。请订阅《解码AI》时事通讯，我们每周都会将新鲜资讯直接投递到您的收件箱。