NVIDIA 在 CVPR 公布最大室内合成数据集，促进物理 AI 发展

NVIDIA 在计算机视觉与模式识别（CVPR）会议的年度 AI 城市挑战赛上做出了重大贡献，提供了有史以来最大的室内合成数据集。据NVIDIA 博客介绍，这一举措旨在帮助研究人员和开发人员创建针对智能城市和工业自动化的 AI 解决方案。

推进智能城市和工业自动化的 AI

AI 城市挑战赛吸引了来自近 50 个国家的 700 多支队伍，重点开发 AI 模型，以提升包括零售和仓库环境以及智能交通系统在内的各种物理环境中的操作效率。今年的挑战赛特色是使用 NVIDIA Omniverse 平台生成的数据集，该平台支持基于通用场景描述（OpenUSD）的应用程序和工作流程的创建。

创建和模拟数字孪生

像工厂和仓库这样的大型室内空间，需要能够观察和测量活动、优化操作效率并确保人类安全的解决方案。为满足这些需求，研究人员正在利用在大规模真实数据集上训练的计算机视觉模型，适用于各种现实场景。然而，收集这些数据往往具有挑战性、耗时且成本高昂。

基于物理的模拟，如物理世界的数字孪生，正越来越多地用于增强 AI 模拟和训练。这些虚拟环境帮助生成用于训练 AI 模型的合成数据，使研究人员能够在受控环境中运行大量“假设”场景，同时解决隐私和 AI 偏见问题。

为 AI 城市挑战赛构建合成数据集

今年，NVIDIA 为多摄像头人员跟踪赛道贡献了数据集，这是参与度最高的赛道，有超过 400 支队伍参加。该赛道使用了基准和同类最大合成数据集，包含 6 个虚拟环境中的 90 个场景、212 小时的 1080p 视频（每秒 30 帧），包括仓库、零售店和医院。

这些在 Omniverse 中创建的场景模拟了近 1,000 台摄像机，并展示了约 2,500 个数字人类角色。这些基准是使用 NVIDIA Isaac Sim 中的 Omniverse Replicator 生成的，该应用程序使开发人员能够在虚拟环境中设计、模拟和训练机器人和自主机器人的 AI。

推动生成物理 AI 的未来

世界各地的研究人员和公司正在开发由物理 AI 驱动的基础设施自动化和机器人，这些机器人能够自主执行复杂任务。生成物理 AI 在模拟环境中使用强化学习，在其中通过模拟传感器感知世界，并执行由物理法则约束的操作。

NVIDIA 通过最近宣布的 Omniverse Cloud Sensor RTX 微服务进一步推进了模拟。这些微服务使物理精确的传感器模拟成为可能，通过允许在虚拟环境中进行大规模测试，加速了完全自主机器人的开发，并显著减少了与现实世界测试相关的时间和成本。

展示先进 AI 的研究

AI 城市挑战赛的参与者提交了研究论文，其中一些获得了顶级排名。所有被接受的论文将在 2024 年 6 月 17 日的 AI 城市挑战赛研讨会上展示。NVIDIA Research 还将在 CVPR 2024 上展示超过 50 篇论文，展示在生成物理 AI 方面的突破，其潜在应用包括自动驾驶车辆开发和机器人技术。

了解更多信息，请阅读关于 NVIDIA Research 在 CVPR 的文章，了解更多关于 AI 城市挑战赛的内容。