确保AI可靠性：NVIDIA NeMo Guardrails集成Cleanlab的可信语言模型

随着企业越来越多地在其应用中采用大型语言模型（LLM），一个紧迫的问题出现了：生成误导性或错误输出，通常被称为“幻觉”。为了解决这个问题，NVIDIA将Cleanlab的可信语言模型（TLM）集成到其NeMo Guardrails平台中，旨在提供一个增强AI可靠性的强大解决方案，据NVIDIA称。

NVIDIA NeMo Guardrails概述

NVIDIA NeMo Guardrails是一个综合平台，旨在在生成AI应用中执行AI策略。它提供了一个可扩展的框架，以确保内容安全，检测潜在越狱行为，并控制对话主题。该平台整合了NVIDIA的专有安全机制和第三方解决方案，提供了一个统一的AI安全方法。

例如，NeMo Guardrails结合使用LLM自检和工具，如NVIDIA的Llama 3.1 NemoGuard内容安全NIM和Meta的Llama Guard。这些工具根据预定义的政策对AI生成的文本进行实时审计，立即标记任何违规行为。此外，平台支持与外部防护措施如ActiveFence的ActiveScore的集成，增强了其灵活性和全面性。

Cleanlab可信语言模型概述

将Cleanlab的可信语言模型集成到NeMo Guardrails中标志着AI安全方面的重大进展。TLM通过高级不确定性估计技术对LLM输出的可信性进行评分。此功能对于如客户支持系统等应用至关重要，在这些系统中，如果AI生成的响应被认为不可信，可以升级为人类代理处理。

TLM在需要检索增强生成（RAG）的场景中特别有益，它会标记潜在不可靠的响应。它支持自动LLM系统以更高的可靠性分类信息和执行工具调用。

实际应用：客户支持AI助手

为了展示TLM在NeMo Guardrails中的集成，NVIDIA为一个电子商务平台开发了一个客户支持AI助手。这个助手处理有关运输、退货和退款的询问，使用公司政策作为上下文指南。

在实际操作中，当客户查询产品退货政策时，AI助手会引用政策，确保其响应符合记录指南。如果响应看似不可信，TLM会促使系统提供备选响应或将查询升级至人工代理。

评估与实施

在各种客户支持情境中，防护措施展示了其有效检测和管理幻觉的能力。例如，在询问非故障物品的退款政策时，AI助手提供了一个高可信度评分的响应，紧密遵循政策指南。

相反，在政策不明确的情况下，如询问某些类型珠宝的退货，防护措施将回应标记为潜在误导，选择将问题升级以供人工审核。

这些防护措施的实施涉及配置NeMo Guardrails框架以使用Cleanlab的TLM API，该API评估AI响应的可信度。根据可信度评分，系统决定是向用户交付响应还是升级处理。

结论

NVIDIA将Cleanlab的可信语言模型集成到NeMo Guardrails中，为增强AI应用的可靠性提供了一个强有力的解决方案。通过解决幻觉的挑战，此合作为开发人员提供了构建更安全、更可信AI系统的工具。Cleanlab参与NVIDIA的Inception项目进一步突显了其在推进AI技术和创新方面的承诺。