Omniverse Cloud API：数字孪生世界的重要版图

从ChatGPT到多模态AI，再到Sora的一炮而红，生成式AI已经度过了初期的概念炒作，随着新一代人工智能走向深水区，越来越多的人将大模型、生成式AI等技术用于生产型的业务，企业开始思考如何提升部署AI技术的ROI，希望借此来增强市场竞争力。与此同时，计算能力和模型参数的螺旋式攀升也推动着物理世界与虚拟世界的融合。过去五年间，NVIDIA的Omniverse平台大幅加速了这一进程。“所有制造出来的产品都将拥有数字孪生。Omniverse是一个可以构建并操作物理真实的数字孪生的操作系统。”在NVIDIA创始人兼首席执行官黄仁勋看来，Omniverse和生成式AI都是将价值高达50万亿美元的重工业市场进行数字化所需的基础技术。

在传统工业、制造业的现代化转型过程中，软件扮演着至关重要的角色，可以说是将“冰冷的钢铁”融入智能世界的润滑剂和粘合剂。尤其是在劳动力短缺、供应链动荡、市场环境不确定的时候，软件定义的全自动化就显得更为关键。如今，各行各业的企业都在尝试利用数字孪生设计、模拟、构建、运营、优化业务资产和工作流程，提升运营效率，节省数以亿计的成本。随着工业级数字孪生的成熟，其也会为机器人系统、AI训练提供更有效的支撑平台，让它们在虚拟环境中获得真实的反馈。

生成式AI的兴起，结合高级图形学、神经图形学等技术，以及云和边缘的计算能力显著增强，使得企业可以构建1:1符合物理世界规律的数字资产，通过精准的3D仿真辅助业务、供应链进行降本增效。对此，内置API能力的Omniverse能够为开发者构建数字化业务提供一个包括生成式AI工具和服务的平台架构。得益于OpenUSD，Omniverse驱动的应用程序和相关的软硬件环境，可以简化3D工作流，让分布在不同区域的企业、团队和个人可以建立统一的工具和数据的工作流，并且为大规模的工业和科学模拟营造出高精度的虚拟世界。

Omniverse可以帮助企业强化已有的软件解决方案，让制造、工业领域的大型企业省去了不少麻烦，他们可以通过USD的方式进行创新，打造新的工具和服务，西门子、Autodesk、Adobe、Ansys、宝马、亚马逊、三星等公司均是受益者。得益于灵活的授权和交付方式，企业可以在公有云、混合云、多云等任意环境发挥Omniverse的优势。

例如，Omniverse的ChatUSD组件支持对话式AI，设计者只需说出“给我放一个大概1.8米高、60万左右，适应30平方米卧室的落地灯”，就能自动获得光线追踪场景中的光源推荐。在Omniverse Cloud上，用户可以在算力尚不足时快速得到训练结果，对产品进行改进，同时，还能做到高保真，满足不同渲染精度、模型精度、训练精度的要求，包括支持FP8的渲染。这些效果可以在显示终端上得到更好地展现。

更进一步，NVIDIA还将以API的形式提供Omniverse Cloud，把工业数字孪生应用和工作流创建平台的覆盖范围扩展至整个软件制造商生态系统。开发者可以直接在云端的Omniverse上通过API的方式，把OpenUSD、RTX的技术集成到已有的应用层和工作流。NVIDIA全球副总裁/亚太区专业可视化计算总经理沈威表示：“Omniverse Cloud API可以为自主系统开发提供强大的支持，降低高保真、传感器仿真的门槛，让开发者不需要大规模改造基础设施，就能解决复杂的AI问题。”

过去，如果把Omniverse打通已有的应用程序，可能会涉及大量的代码重写，借助API，开发者可以在里面调用相关的语句即可执行，还可以调用Omniverse中的USD数字资产，打通基于API的第三方ISV程序等，例如做3D建模的人员可能不了解大模型，此时只要用Omniverse Cloud API就能实现相应的需求，降低了开发和学习的门槛。今年晚些时候，Omniverse Cloud API会在Microsoft Azure上提供。Ansys、Cadence、达索系统旗下3DEXCITE品牌、Hexagon、微软、罗克韦尔自动化、西门子和Trimble等企业都在将Omniverse Cloud API加入其软件组合中。

据了解，五个全新的Omniverse Cloud API既可单独使用，也可组合使用，分别是：USD Render，生成OpenUSD数据的全光线追踪NVIDIA RTX渲染；USD Write，让用户能够修改OpenUSD数据并与之交互；USD Query，支持场景查询和交互式场景；USD Notify，追踪USD变化并提供更新信息；Omniverse Channel，连接用户、工具和世界，实现跨场景协作。基于ScreenKit的App Streaming功能已可用，可在云端呈现全API基础的开发环境。

西门子把Omniverse Cloud API集成至Teamcenter X产品中，获得了实时的基于物理渲染、来自云端的Screening像素流支持；Cadence Reality Digital Twin Platform利用Omniverse的API能力在在数据中心和数字孪生软件中支持了实时的物理精确可视化，满足了电子设备仿真的严格要求；达索使用Omniverse Cloud API，在基于web的应用框架内实现了生成式AI服务的互操作性；Foretellix借助该API进行扩展和仿真，对传感器进行升级，加快了产品上市时间，节省了收集真实世界传感器数据的巨额成本……可以看到，Omniverse加速了工业领域的软件定义进程，为自动驾驶、人形机器人、智能仓储、智慧城市的数字孪生和仿真带来了新的机会。

具身智能是另一个典型场景，AI和仿真的重要环节是软件在环（SIL）和硬件在环（HIL），把所有的物理传感器和设备都融入场景中，进行实时的训练和反馈。SIL是Omniverse做的部分，会对所有的机器人、自动驾驶汽车、自主移动设备和传感器进行仿真，形成数字孪生，用USD渲染出来，实时输出给机器人、汽车的虚拟传感器，这些合成数据在模型里训练后会部署在硬件设备上，再进行真实环境的测试，即HIL。这种形式也验证了强化学习在数字孪生中的适用性。

值得一提的是，NVIDIA还将Omniverse企业级数字孪生带入了Apple Vision Pro，扩展了空间计算的更多可能性。过去，空间计算受到终端计算能力的限制，在3D场景串流到2D设备时的体验并不好，而AR/VR、3D立体视觉技术的出现，可以动态渲染眼睛看到的画面，自动调节分辨率和精度，根据不同场景的需求分配不同的计算和渲染精度，大幅减少了需要传输和处理的数据量。基于Omniverse的全新工作流，可以将Apple Vision Pro的高分辨率显示屏与NVIDIA的RTX云渲染技术结合，只需设备和网络连接即可提供空间计算体验。这种基于云的方法可以将符合物理学的实时渲染无缝流式传输到Apple Vision Pro，在提供高保真视觉效果的同时，也不会影响大型工程保真数据集的细节。

“生成式AI可以动态实时地支持破损画面的修复，以及缺失像素的填补。”NVIDIA中国区高级技术市场经理施澄秋介绍称，“很多画面都是用低渲染度的方式做的，也就是说4K分辨率可能只用1080P的分辨率去渲染，只渲染了1/4的像素，这时候用生成式AI的方式就可以自动去渲染另外3/4没有被渲染出来的画面，快速用一个1080P低渲染精度生成一个4K渲染的作品。”例如，这种DLSS技术可以在游戏开发商基于Omniverse、虚幻引擎、Unity等平台进行3D场景开发或数字孪生构建时带来很大的帮助。要想做到高保真、全保真，不仅需要较高的分辨率，还要有NVIDIA GPU的物理模型提供支持。

在NVIDIA RTX GPU中，可以把传统的着色部分用来做像素渲染，确保画面是精美的，实时的光线追踪满足高帧率的场景，让用户的互动性更强，延迟感更低，tensor运算可以进行AI加速，支持大模型、生成式AI、神经图形计算、NeRF等……这些能力在Omniverse内都是可以实时调用的。通过在云端利用Omniverse的API打造和连接各种应用程序，用基于USD或OpenUSD的方式打通数字资产之间的连接和调用，再借助RTX GPU的算力和高保真的实时光线追踪去完成画面的渲染，NVIDIA可以帮助Apple Vision Pro实现更加身临其境的使用体验。

NVIDIA和Apple Vision Pro的合作让开发者通过网络连接就能获取具备完整RTX实时物理渲染特性的应用程序和数据集，这与NVIDIA GDN密不可分，GDN是一个由图形就绪数据中心组成的全球网络。相关的工作流引入了混合渲染，这种技术能够结合设备上的本地与远程渲染。用户可以使用流式传输自GDN的Omniverse RTX渲染器，通过苹果的本机SwiftUI和Reality Kit在单个应用中渲染完全交互的体验。相较于传统的CDN，GDN对物理仿真、光线追踪、AI模拟等方面有着更进阶的优化，支持Decode、Encode等各种高级编解码方式，在终端接收器上的能耗非常低。在汽车行业，路特斯在GDN上部署了汽车配置器，为车主提供了丰富的定制化方案，用户在选购时可以通过3D展示挑选轮毂、内饰等细节设置，目前，NVIDIA GDN已在全球130多个地区提供服务。

在GTC 2024上，黄仁勋提到了NVIDIA的灵魂：计算机图形学、物理世界模拟技术、人工智能技术。由超过300万行代码编写成的Omniverse平台正是这三大要素的融合体，让汽车、制造、媒体、建筑、能源、科学运算仿真等领域的数字孪生变得触手可及。某客户的技术可以把二氧化碳转化为液态注入800米深的地下，操作之前需要对地下安全性、压力、压强、注入速率等进行数字孪生的模型模拟，这就要利用Omniverse和相关的AI模块。该公司一年通过这种方式处理的二氧化碳相当于1000辆汽车的尾气排放量。通过Omniverse平台，全球气候模型Earth-2可以进行更精准地气象预测和分析，让飓风预警可以准确到1公里范围内，为人们理解气候变化、预测自然灾害带来了巨大的帮助。可以看到，从LLM到AI Agents、再到机器人、具身智能等等，背后都有Omniverse的身影。

NVIDIA中国Omniverse业务负责人何展表示，Omniverse在2024年的任务是让应用落地，重点推进数字化的孪生工厂、产品设计、基于产品设计的配置系统三大方向的应用。为此，NVIDIA也将继续发挥支持团队的优势资源，包括售前技术团队、售后技术团队、技术算法团队等，以及加大开发者方面的投入，探索通过Omniverse方案整合解决更多的场景痛点。同时，还会携手ISV等更多的伙伴，共同为客户带来更高质量的产品和服务。“用黄仁勋先生的话来说，我们不是和大家去分享这个市场蛋糕，我们是重新创造一个巨大的新的市场，方式就是与合作伙伴携手同行，这一点不会改变。”何展称。