NVIDIA NIM 利用 VLM 系统简化多模态信息检索
realtime news Feb 26, 2025 11:30
NVIDIA 引入了一种基于 VLM 的多模态信息检索系统，利用 NIM 微服务增强了文本和图像等多种模态的数据处理。
人工智能领域不断发展，持续突破数据处理和检索的界限。根据公司官方博客，NVIDIA 推出了新的多模态信息检索方法，利用其 NIM 微服务解决处理多种数据模态复杂性的问题。
多模态 AI 模型：新的前沿
多模态 AI 模型旨在以协调的方式处理各种数据类型，包括文本、图像、表格等。NVIDIA 的基于视觉语言模型（VLM）的系统通过将这些数据类型整合到统一框架中，简化了准确信息的检索。这种方法显著提高了跨不同格式生成全面和连贯输出的能力。
使用 NVIDIA NIM 部署
NVIDIA NIM 微服务有助于在语言、计算机视觉和其他领域部署 AI 基础模型。这些服务被设计为在 NVIDIA 加速的基础设施上部署，为与 LangChain 和 LlamaIndex 等流行 AI 开发框架的无缝集成提供行业标准 API。这种基础设施支持部署基于视觉语言模型的系统，能够回答涉及多种数据类型的复杂查询。
整合 LangGraph 和 LLMs
系统采用了 LangGraph 这一先进框架，以及 llama-3.2-90b-vision-instruct VLM 和 mistral-small-24B-instruct 大语言模型（LLM）。这种组合允许处理和理解文本、图像和表格，使系统能够高效地处理复杂查询。
相较于传统系统的优势
VLM NIM 微服务相较于传统信息检索系统具有多项优势。它通过处理冗长而复杂的视觉文档而不失连贯性来提高上下文理解能力。此外，结合 LangChain 的工具调用能力，使得系统能够动态选择和使用外部工具，提高数据提取和解释的精确性。
企业应用的结构化输出
系统对企业应用特别有益，生成的结构化输出确保了响应的一致性和可靠性。结构化输出对于自动化和与其他系统集成至关重要，可以减少源于非结构化数据的歧义。
挑战与解决方案
随着数据量的增加，与可扩展性和计算成本相关的挑战出现。NVIDIA 通过层次化的文档重新排序方法解决这些挑战，该方法通过将文档摘要划分为可管理的批次来优化处理。这种方法确保在不超出模型容量的情况下考虑所有文档，增强了可扩展性和效率。
未来展望
目前系统涉及大量计算资源，预计未来会开发出更小、更高效的模型。这些进展有望以降低的成本交付相似的性能，使系统对更广泛的应用更加可及和经济高效。
NVIDIA 在多模态信息检索方面的方法在处理复杂数据环境方面代表了一次重大进步。通过利用先进的 AI 模型和强大的基础设施，NVIDIA 正在为高效和有效的数据处理和检索系统设定新的标准。
Image source: Shutterstock