NVIDIA提升LLMOps效率，实现模型评估与优化

将大型语言模型（LLM）整合到生产系统中已经改革了各行各业，但同时也提出了独特的挑战。据NVIDIA介绍，NVIDIA近期在LLMOps，即大型语言模型操作方面的进展旨在解决这些复杂问题。

理解LLMOps的挑战

LLMOps基于传统的机器学习操作（MLOps）进行扩展，管理LLM生命周期的各个阶段，从数据准备到部署和持续改进。主要挑战包括管理微调管道、大规模评估模型以及确保高效的推理服务。这些过程涉及编排大型模型、跟踪实验，以及在各种硬件配置中优化性能。

创新解决方案实践

电信解决方案提供商Amdocs已经实施了一套稳健的LLMOps管道，利用NVIDIA的AI Blueprint和NeMo微服务。该方法通过自动化微调和评估过程解决操作挑战，从而加速AI计划。云原生的GitOps策略允许对LLM生命周期阶段进行自动管理，无缝集成到Amdocs的CI/CD管道中。

GitOps与NeMo微服务

NVIDIA NeMo微服务促进了LLM的持续改进周期，常被视为“企业AI飞轮”。该框架强调迭代开发，部署模型和新数据的见解不断增强LLM能力。GitOps的集成确保了所有配置和工作流程定义都处于版本控制之下，保障了LLM管道的可重复性和高效管理。

案例研究：Amdocs的amAIz平台

在Amdocs的amAIz平台中，基于GitOps的LLMOps策略整合了NVIDIA的AI Blueprint以优化工作流程。该设置结合使用NVIDIA的NeMo服务和DGX云基础设施，允许快速评估和回归测试新LLM。该管道自动化模型的部署，并编排如模型微调和评估等复杂任务，确保卓越的性能和业务要求的合规性。

结果和影响

实施这些策略显著提高了模型性能。回归测试表明，微调后的模型在保留核心能力的同时，在特定任务中达到了更高的准确性。例如，经过LoRA微调的模型达到了0.83的准确率，优于基础模型。自定义的LLM-as-a-judge评估进一步改进了评估过程，确保模型符合领域的特定需求。

结论

NVIDIA通过与Amdocs的合作展示的LLMOps进展，提供了一套全面的框架以管理生产中的LLM。通过利用NVIDIA AI Blueprint和NeMo微服务，组织可以构建一条稳健的自动化管道，解决大规模部署LLM的复杂性，为AI驱动操作中的持续改进和创新铺平道路。