英伟达公布OpenUSD工作流的生成式AI工具
realtime news Jul 30, 2024 08:55
英伟达在2024年SIGGRAPH大会上推出新的生成式AI和开发工具，以增强工业和机器人应用的OpenUSD工作流。
在2024年SIGGRAPH大会上，英伟达宣布推出基于USD的生成式AI和英伟达加速开发工具，这些工具构建在英伟达Omniverse之上。这些进展旨在扩展通用场景描述 (OpenUSD) 在各个行业中的采用，使开发人员能够创建高度准确的虚拟世界，为AI的下一次演进做好准备，据英伟达技术博客报道。
扩展OpenUSD的采用
OpenUSD 是一个开源框架和3D及模拟工作流的数据交换标准。此框架允许开发人员构建高度精确的AI驱动虚拟世界以及创建这些世界所需的工具。英伟达推出的新工具承诺将OpenUSD的适用性扩展到机器人、工业设计和工程等领域。
新开发工具包括：
- 用于OpenUSD语言、材料、空间智能和物理AI的英伟达 NIM 微服务和工作流指南。
- 支持包含机器人和工业模拟格式在内的行业特定数据的OpenUSD Exchange SDK和USD连接器。
- 用于从头开始构建和部署基于OpenUSD的应用程序的英伟达Omniverse Kit SDK和开发工具。
生成式AI在OpenUSD工作流中的应用
生成式AI在文本和数字应用中变得相对简单。然而，将生成式AI应用到3D场景中需要空间智能和物理智能。英伟达的新NIM USD微服务为OpenUSD语言、材料、空间智能和物理AI带来了生成式AI。这些微服务允许开发人员将精细调优的生成式AI助手和智能体集成到他们的3D工作流中，扩展USD在制造、汽车和机器人等新兴行业中的采用。
这些微服务的早期采用者包括全球最大的营销和传播公司WPP，它正在使用USD搜索和代码加速全球范围内创意活动的迭代。其他早期采用者包括英伟达的Inception成员 HOMEE AI 和 Livvy by Aireal，它们计划将这些微服务用于空间规划和室内设计中的智能搜索和AI驱动工具。
构建 USD 原生应用程序
开发人员现在可以使用Omniverse Kit SDK和开发工具从头开始构建OpenUSD原生应用程序。最新版本Omniverse Kit SDK 106提供了新的工具和增强的功能，使开发工作流更高效。此版本包括Omniverse Kit App Template存储库，提供各种应用程序模板，帮助开发人员快速入门并自定义项目。
现已进入早期访问阶段的Omniverse Kit App Streaming API允许开发人员部署基于Kit的应用程序并从云端互动流式，这使得无缝集成到基于网页的解决方案成为可能。
将行业特定数据连接到OpenUSD
为了进一步推进OpenUSD生态系统，英伟达宣布将于今年晚些时候在GitHub上发布OpenUSD Exchange SDK。这个SDK使开发人员能够构建强大的OpenUSD数据插件、转换器和交换器，从而促进行业特定数据与USD的交换。关键格式，如统一机器人描述格式 (URDF)，正在连接到OpenUSD，使机器人学家能够无缝地将他们的机器人数据在从设计到模拟到强化学习的各个应用中传输。
英伟达还宣布了新的开发工具和API，允许通过英伟达图形传输网络 (GDN) 将大型OpenUSD场景流式传输到Apple Vision Pro，目前处于早期访问阶段。
在2024年SIGGRAPH大会上，英伟达CEO黄仁勋与Meta创始人及CEO马克·扎克伯格和WIRED高级撰稿人劳伦·古德进行了炉边对话。这些会谈可以通过英伟达的活动页面按需观看。
Image source: Shutterstock