NVIDIA NeMo-RL 利用 GRPO 实现先进的强化学习

根据 NVIDIA 官方博客，NVIDIA 推出了 NeMo-RL，这是一个旨在增强强化学习（RL）能力的先进开源库。该库支持从单 GPU 原型到数千 GPU 部署的可扩展模型训练，并与 Hugging Face 等流行框架无缝集成。

NeMo-RL 的架构和特性

NeMo-RL 是 NVIDIA NeMo 框架的一部分，以其多功能性和高性能能力而闻名。该库包括与 Hugging Face 模型的本地集成，以及优化的训练和推理流程。它支持流行的 RL 算法，如 DPO 和 GRPO，并使用基于 Ray 的编排提高效率。

NeMo-RL 的架构设计注重灵活性。它支持各种训练和回滚后端，确保高级算法实现不依赖于后端细节。这种设计允许模型无缝扩展，而无需修改算法代码，适用于小规模和大规模部署。

利用 GRPO 实现 DeepScaleR

博客文章探讨了应用 NeMo-RL 来重现使用群体相对策略优化（GRPO）算法的 DeepScaleR-1.5B 配方。这涉及训练高性能推理模型，如 Qwen-1.5B，以在 AIME24 学术数学挑战中与 OpenAI 的 O1 基准竞争。

训练过程分为三个步骤，逐步增加使用的最大序列长度：从 8K 开始，然后到 16K，最后到 24K。这种逐步增加有助于管理回滚序列长度的分布，优化训练过程。

训练过程和评估

训练设置涉及克隆 NeMo-RL 仓库并安装必要的软件包。训练分阶段进行，模型会被持续评估以确保达到性能基准。结果显示，NeMo-RL 在仅 400 步中就达到了 0.65 的训练奖励。

在 AIME24 基准评估中，训练模型超过了 OpenAI O1，凸显了 NeMo-RL 在与 GRPO 算法结合时的有效性。

开始使用 NeMo-RL

NeMo-RL 可供开源使用，并在其 GitHub 仓库 中提供详细的文档和示例脚本。这一资源非常适合那些希望使用可扩展和高效方法实验强化学习的人士。

库与 Hugging Face 的集成及其模块化设计，使其成为研究人员和开发人员在项目中利用先进 RL 技术的强大工具。