AI 扩展法则：通过预训练、后训练和测试时扩展提升模型性能

根据最近的NVIDIA 博客文章，AI 扩展法则正在革新人工智能模型的开发和优化方式。这些法则阐明了通过增加训练数据、模型参数和计算资源来增强模型性能的方法。

理解预训练扩展

预训练扩展是AI开发的基石。它认为通过扩大训练数据集、模型参数和计算资源，开发者可以在模型准确性和智能上实现可预测的增强。这一扩展原则引领了具有突破性能力的大型模型的创建，例如亿级和万亿级参数的Transformer模型和专家混合模型。

后训练扩展技术

一旦基础模型经过预训练，就可以通过后训练扩展为特定应用进行调整。此过程涉及微调、剪枝和蒸馏等技术，以提高模型的特异性和相关性。后训练扩展可能需要比预训练更多的计算资源，从而推动了各行业对加速计算的需求。

测试时扩展的角色

测试时扩展，或称长时间思考，是在推理阶段应用额外计算努力以增强AI推理能力的技术。这样可以让模型通过各种解决方案进行推理来解决复杂的多步问题。测试时扩展对于需要详细推理的任务至关重要，例如医疗保健和物流领域的任务。

在医疗保健领域，测试时扩展可以帮助模型分析大型数据集以预测疾病进展和潜在的治疗并发症。在物流方面，它可以辅助复杂的决策制作，改善需求预测和供应链管理。

随着AI推理模型的崛起，如OpenAI的o1-mini和Google的DeepMind Gemini 2.0，测试时扩展的重要性日益增加。这些模型需要大量的计算资源，强调了企业在扩展其计算能力以支持先进AI推理工具时的必要性。