LangSmith推出实时警报以增强LLM监控
realtime news Apr 22, 2025 11:07
LangChain的LangSmith平台现已提供实时警报，使开发人员能够更有效地监控LLM应用程序和代理，通过及早捕捉故障来确保更好的用户体验。
LangChain在其LangSmith平台推出了一项新功能，旨在增强对大型语言模型（LLM）应用程序和代理的监控。据LangChain称，该计划通过在生产故障影响最终用户之前识别和解决它们来改善用户体验。
使用LangSmith Alerts进行主动监控
新推出的LangSmith Alerts允许开发人员根据关键指标（如错误率、运行延迟和反馈得分）设置通知。此功能特别有利于已向LangSmith发送生产追踪的应用程序，使它们能够配置适合其特定需求的警报。
这些警报对于维护LLM驱动应用程序的性能至关重要，这些应用程序通常依赖于多个外部服务，如API和数据库。这些服务中的任何中断都可能导致用户体验大幅下降。通过使用主动监控，开发人员可以迅速识别并减轻这些问题。
确保质量和正确性
LangSmith Alerts不仅关注速度，还强调LLM输出的质量。LLM的不确定性意味着即使是提示或输入的微小变化也可能导致意外结果。基于反馈得分（来自用户输入或在线评估）的警报充当潜在质量问题的预警系统。
详细的警报配置
LangSmith支持对多个关键指标进行警报，例如错误计数和率、平均延迟和平均反馈得分。开发人员可以应用多种过滤器以针对特定运行子集进行过滤，例如按模型或工具调用进行过滤。可以设置5分钟或15分钟的汇聚窗口，并调整阈值以调整警报灵敏度。
通过支持PagerDuty或自定义webhooks的警报，简化了与现有工作流的集成，便于直接向Slack等平台发送通知。
未来发展
LangChain计划通过引入新的警报类型（如运行计数和LLM令牌使用）以及基于相对值变化的更改警报，来扩大LangSmith的警报功能。自定义警报的时间窗口也在开发路线图中。
通过LangChain的Slack社区鼓励反馈和功能请求，邀请用户为LangSmith监控功能的持续提升做出贡献。
Image source: Shutterstock