NVIDIA NeMo Curator 增强 DGX Cloud 上的视频处理
realtime news Mar 18, 2025 21:27
NVIDIA 推出了 NeMo Curator，这是一种 GPU 加速的流媒体流水线，可在 DGX Cloud 上实现高效的视频处理，优化 AI 模型开发并降低成本。
据 NVIDIA 称，物理 AI 的出现大大增加了视频内容的生成，一辆自动驾驶汽车每天就能产生超过 1 TB 的视频数据。为高效管理和利用这些海量数据，NVIDIA 推出了 NeMo Curator，这是一种可在 NVIDIA DGX Cloud 上使用的 GPU 加速流媒体流水线。
传统处理面临的挑战
传统的批处理系统在数据呈指数增长时常常难以应对，导致 GPU 的利用率不足和成本增加。这些系统需要积累大量数据进行处理，这可能导致 AI 模型开发中的效率低下和延迟问题。
GPU 加速的流媒体解决方案
为解决这些挑战，NeMo Curator 引入了一种灵活的流媒体流水线，利用 GPU 加速进行大规模视频策展。这种先进的流水线结合了自动扩展和负载平衡技术，以优化各个阶段的吞吐量，最大化硬件利用率并降低拥有总成本（TCO）。
优化的吞吐量和资源利用
流媒体处理方法允许在阶段之间直接传输中间数据，减少延迟并提高效率。通过将 CPU 密集型任务与 GPU 密集型任务分开，系统能够更好地与现有基础设施的实际容量对齐，避免资源空闲并确保平衡的吞吐量。
架构和实施
NeMo Curator 流水线建立在 Ray 框架之上，分为多个阶段，从视频解码到嵌入计算。每个阶段使用一组 Ray actor 并行处理数据，且编排线程管理输入和输出队列以保持最佳吞吐量。系统动态调整 actor 池的大小以适应不同阶段的速度，确保流动性和效率。
性能和未来前景
与传统批处理相比，流媒体流水线实现了 1.8 倍的速度提升，大约在 195 秒内每块 GPU 处理一小时的视频。NeMo Curator 流水线在基线之上显示了 89 倍的性能提升，能够在单日内使用 2,000 个 H100 GPUs 处理约 1 百万小时的 720p 视频。NVIDIA 继续与早期访问的合作伙伴合作，进一步优化系统并扩展其功能。
欲了解更多详细信息，请访问 NVIDIA 博客。
Image source: Shutterstock