NVIDIA发布数据飞轮蓝图以优化AI代理
realtime news Jul 04, 2025 03:58
NVIDIA引入了数据飞轮蓝图，这是一种通过自动化实验和自我改进循环来降低成本和提高效率，以增强AI代理的工作流程。
NVIDIA推出了其最新创新——数据飞轮蓝图，旨在提高大型语言模型驱动的AI代理的效率。根据NVIDIA的说法，该蓝图旨在解决高推理成本和延迟的问题，这些问题可能妨碍AI驱动的工作流程的可扩展性和用户体验。
优化AI代理
NVIDIA AI蓝图用于构建数据飞轮，是一种企业就绪的工作流程，利用自动化实验，试图找到不仅降低推理成本而且提高延迟和效果的更高效模型。该蓝图的核心是一个自我改进的循环，利用NVIDIA NeMo和NIM微服务，能够使用实际生产数据对小型模型进行蒸馏、微调和评估。
集成和兼容性
数据飞轮蓝图旨在无缝集成到现有AI基础设施中，并支持多种环境，包括多云、本地和边缘设置。这种适应性确保组织能够高效地将蓝图整合到其当前系统中，而无需进行大规模调整。
实施数据飞轮蓝图
一个实践演示说明了如何应用数据飞轮蓝图来优化虚拟客服代理的模型。该过程包括用更小的Llama-3.2-1b模型替换大型Llama-3.3-70b模型，在不牺牲准确性的情况下将推理成本降低超过98%。
- 初始设置：利用NVIDIA Launchable进行GPU计算，部署NeMo微服务，并克隆数据飞轮蓝图GitHub仓库。
- 日志摄取和整理：收集并存储生产代理交互，整理任务特定的数据集，并使用内置的飞轮编排器进行持续实验。
- 模型实验：在各种学习设置下进行评估，使用生产输出微调模型，并使用如MLflow这样的工具衡量性能。
- 持续部署和改进：在生产中部署高效模型，摄取新数据，重新训练，并迭代飞轮循环。
对于有兴趣采用这一创新框架的人，NVIDIA提供了详细的操作视频和可通过NVIDIA API目录获得的额外资源。
Image source: Shutterstock.jpg)
