NVIDIA通过新AI训练模型推动机器人技术进步

NEW

NVIDIA通过新AI训练模型推动机器人技术进步 - Blockchain.News

NVIDIA公布了机器人训练领域的突破性进展，解决了无需大量数据收集即可高效训练机器人以执行多样化任务的长期挑战。根据NVIDIA的博客，这些创新利用生成式AI和世界基础模型（WFMs）来促进可扩展的合成数据生成和增强的机器人学习。

机器人技术的世界基础模型

Cosmos世界基础模型（WFMs）旨在通过处理数百万小时的真实数据来预测未来世界状态。这种能力使机器人和自动驾驶车辆能够预测事件，从而加快高保真度训练数据的创建。通过使用WFMs，NVIDIA的目标是显著减少开发时间，增强模型的稳健性，并实现快速适应新环境。

DreamGen是一个合成数据生成管道，解决了收集大规模人类远程操作数据的昂贵和费力过程。通过利用WFMs，DreamGen以最少的人类干预创建多样且真实的训练数据，促进可扩展的机器人学习。该管道包括四个关键步骤：将WFMs适应特定机器人，生成合成视频，提取伪动作，并用生成的数据训练机器人策略。

DreamGen Bench是一个专门的基准，评估视频生成模型对特定机器人体现的适应性。该基准测试评估了NVIDIA Cosmos和WAN 2.1等模型的指令遵循能力和物理真实性，确保生成的数据既真实又与任务相关。

基于DreamGen研究的GR00T-Dreams工作流程生成大量合成轨迹数据集，相比传统的数据收集方法，显著减少了所需的时间和精力。该工作流程在训练机器人执行复杂任务和环境中起到了重要作用。

潜在动作预训练（LAPA）是一种无监督方法，它使用超过181,000个未标记视频来学习有效表示，消除了手动标记数据的需要。该方法提高了机器人学习效率，为现有模型提供了显著的性能提升。

模拟与真实联合训练工作流程结合了真实世界和模拟数据，以训练强大的机器人策略，弥合模拟与现实之间的差距。该方法优化了数据多样性和摄像机对准，确保了即使在数据丰富的环境中也能进行稳健的策略开发。

领先的组织已经在采用NVIDIA的工作流程来增强其机器人能力。像AeiRobot和Foxlink这样的公司正在利用这些模型提高其工业机器人的灵活性和效率。NVIDIA研究的进步有望在机器人领域设立新的基准，提供用于解决复杂、多变环境的可扩展解决方案。

Image source: Shutterstock