NVIDIA 发布 Blackwell Ultra，革新 AI 推理

NVIDIA 宣布推出 Blackwell Ultra，这是一款针对 AI 推理不断发展的需求而量身定制的加速计算平台。根据NVIDIA的说法，该平台旨在通过优化训练、后期训练和测试时间扩展来增强 AI 系统的能力。

AI 扩展的进步

在过去的五年里，AI 预训练的需求激增了 5000 万倍，导致重大进展。然而，重点现已转向完善模型以增强其推理能力。这涉及到后期训练扩展，利用特定领域和合成数据来提高 AI 的对话技能和对复杂背景的理解。

一种称为“测试时间扩展”或“长思考”的新扩展法则已出现。这种方法在 AI 推理过程中动态增加计算资源，实现更深层次的推理。与传统单次生成响应的模型不同，这些高级模型能够实时思考和完善答案，更接近自主智能。

Blackwell Ultra 平台

Blackwell Ultra 平台是 NVIDIA 的 GB300 NVL72 系统的核心，包含液体冷却的机架级解决方案，连接 36 个 NVIDIA Grace CPU 和 72 个 Blackwell Ultra GPU。此设置形成了一个总 NVLink 带宽达 130 TB/s 的大型 GPU 域，显著提升 AI 推理性能。

每个 GPU 可配备高达 288 GB 的 HBM3e 内存，Blackwell Ultra 支持大规模 AI 模型和复杂任务，提供更高性能和更低延迟。其张量核心提供比以前的模型多 1.5 倍的 AI 计算浮点运算，优化了内存使用，实现了 AI 研究和实时分析的突破。

增强的推理和网络

NVIDIA 的 Blackwell Ultra 还具备与 NVIDIA ConnectX-8 800G SuperNIC 的 PCIe Gen6 连接，网络带宽提升至 800 Gb/s。这个增加的带宽在大规模操作中提升性能，由 NVIDIA Dynamo 支持，一个开源库，可有效地扩展 AI 服务并管理跨 GPU 节点的工作负载。

Dynamo 的分离服务通过将大型语言模型（LLM）推理的上下文和生成阶段分离来优化性能，从而降低成本并改善可扩展性。GB300 NVL72 每 GPU 的数据总吞吐量达 800 Gb/s，与 NVIDIA 的 Quantum-X800 和 Spectrum-X 平台无缝集成，满足现代 AI 工厂的需求。

对 AI 工厂的影响

Blackwell Ultra 的推出预计将显著提升 AI 工厂产出。NVIDIA GB300 NVL72 系统承诺每用户吞吐量增加 10 倍，每兆瓦吞吐量改善 5 倍，最终导致 AI 工厂输出性能总计提高 50 倍。

这种 AI 推理的进步将促进实时洞察、增强预测分析，并改善各行业的 AI 代理，包括金融、医疗和电子商务。组织能够处理更大的模型和工作负载，而不会影响速度，使高级 AI 功能变得更实用和可访问。

预计 NVIDIA Blackwell Ultra 产品将在 2025 年下半年由合作伙伴提供，主要云服务提供商和服务器制造商将提供支持。