高效AI管道：NVIDIA的NeMo Retriever单GPU提取
realtime news Jun 18, 2025 19:49
NVIDIA的NeMo Retriever提供了一种流线型的解决方案，用于使用单个GPU进行多模态文档提取，提高了AI管道的效率并降低了运营成本。
NVIDIA推出了AI管道效率的一项重大进展，通过NeMo Retriever提取，仅使用一个GPU即可实现全面的多模态文档处理。在企业面临从多样数据源中提取有价值见解的挑战时，传统的仅限文本提取方法已被证明是不足的。根据NVIDIA，NeMo Retriever旨在通过高效处理复杂文档如PDF和演示文稿来解决这些不足之处。
多模态提取管道
NeMo Retriever利用微服务从各种文件类型中提取信息，形成一个可扩展的检索增强生成（RAG）解决方案。该架构是NVIDIA AI RAG蓝图的一部分，旨在通过将静态文档转化为可执行的见解来简化企业知识管理。管道集成了先进组件，如对象检测和向量嵌入，使得上下文感知的高效检索成为可能。
管道的实现
部署NeMo Retriever提取管道涉及一个简单的设置，可在AWS g6e.xlarge机器上运行，配备单个L40S GPU。该管道包括视觉识别、OCR、嵌入模型和可观察性工具的服务。一旦部署，用户可以提交摄取任务以处理文件，提取、分割并将多模态数据嵌入到结构化格式中。
用例：NVIDIA Blackwell GPU
一个示例用例涉及处理关于NVIDIA Blackwell GPU的组织文件。该管道通过提取多模态文档中相关数据来高效处理性能比较请求。这种方法允许快速且准确的信息检索，而无需手动文件审查。
结论
NeMo Retriever提取管道代表了AI驱动文档理解的一次飞跃，将未被充分利用的文档转化为高价值资产。它不仅提升了数据质量，还促进了“数据飞轮”的创建，即数据质量的改进带来更好的AI模型和更有价值的数据生成。组织可以利用这项技术解锁更深入的见解，推动更智能的决策流程。
Image source: Shutterstock.jpg)
