NVIDIA TensorRT 革命性提升 Adobe Firefly 的视频生成
realtime news Apr 22, 2025 04:04
NVIDIA TensorRT 优化了 Adobe Firefly，将延迟降低了60%，成本减少了40%，通过对 Hopper GPU 的 FP8 量化，提高了视频生成效率。
根据 NVIDIA 最近的一篇博客文章显示，NVIDIA 的 TensorRT 显著提高了 Adobe Firefly 视频生成模型的效率，使延迟减少了60%，总体拥有成本（TCO）下降了40%。这种优化利用了 NVIDIA Hopper GPU 上的 FP8 量化特性，实现了计算资源的更高效使用，并可以用更少的 GPU 服务更多的用户。
通过 TensorRT 转变视频生成
Adobe 与 NVIDIA 的合作对于优化其 Firefly 视频生成模型的性能至关重要。在 AWS EC2 P5/P5en 实例上部署由 Hopper GPU 提供支持的 TensorRT，帮助 Adobe 提升可扩展性和效率。这一部署策略对于 Firefly 快速推向市场至关重要，使其成为 Adobe 最成功的测试版推出之一，在第一个月内生成了超过7000万张图像。
高级优化和技术
使用 TensorRT，Adobe 为其 Firefly 模型实施了多项优化策略。这些策略包括通过 FP8 量化减少内存带宽，从而降低内存占用并加速 Tensor Core 操作。此外，TensorRT 对 PyTorch、TensorFlow 和 ONNX 的支持提供了无缝的模型可移植性，实现了高效部署。
优化过程涉及将模型导出为 ONNX，实施 FP8 和 BF16 的混合精度，并采用训练后量化技术。这些措施共同降低了视频扩散模型的计算需求，使其更易于访问且性价比更高。
可扩展性和成本效率
将 Firefly 部署在 AWS 的强大云基础设施上进一步增强了其可扩展性和效率。TensorRT 的整合为 Adobe 的创意应用带来了显著的成本节约和性能改进。通过减少模型推理所需的计算资源，Firefly 可以用更少的 GPU 服务更多的用户，从而降低运营成本。
总体而言，NVIDIA TensorRT 的部署为生成性 AI 模型设立了新的标准，展示了在该领域快速开发和战略性技术创新的潜力。随着 Adobe 不断推动创意 AI 的界限，从 Firefly 开发中获得的经验将为未来的进步提供借鉴。
欲了解这一技术进步的更多信息，请访问 NVIDIA 开发者博客。
Image source: Shutterstock