NVIDIA 推出 RTX AI PC 加速以增强 AnythingLLM

NVIDIA 通过支持 NVIDIA NIM 微服务和 RTX GPU，为全能 AI 应用 AnythingLLM 引入了重要增强。根据 NVIDIA 官方博客，这一开发承诺提供更快的性能和更灵敏的本地 AI 工作流。

什么是 AnythingLLM？

AnythingLLM 旨在为用户提供一个全面的 AI 应用程序，允许运行本地大型语言模型（LLMs）、检索增强生成（RAG）系统和代理工具。它弥合了用户喜爱的 LLMs 与其数据之间的差距，促进了如问题解答、个人数据查询、文档摘要、数据分析和代理动作等任务。该应用支持多种开源本地 LLMs 和来自 OpenAI 和 Microsoft 等提供商的更大云端 LLMs。

该应用通过一键安装即可访问，并可作为独立应用或浏览器扩展功能，提供用户友好的体验而无需复杂设置。这使其对于配置了 GeForce RTX 和 NVIDIA RTX PRO GPU 的 AI 爱好者特别具有吸引力。

RTX 为 AnythingLLM 加速

通过集成 GeForce RTX 和 NVIDIA RTX PRO GPU，大大提高了 AnythingLLM 的性能，利用为 AI 加速优化的张量核心加速推理过程。结合 Ollama 和 Llama.cpp 进行设备上的执行，以及 ggml 张量库，进一步优化了 NVIDIA RTX GPU 上的机器学习过程。这些增强带来了性能提升，GeForce RTX 5090 提供的 LLM 推理速度比 Apple 的 M3 Ultra 快 2.4 倍。

具有 NVIDIA NIM 的新功能

AnythingLLM 的 NVIDIA NIM 微服务支持为用户提供了预打包的生成 AI 模型，从而简化了在 RTX AI PC 上启动 AI 工作流。这些微服务对于希望在工作流内快速测试生成 AI 模型的开发人员特别有利。它们通过提供一个包含所有必要组件的单一容器而优化了流程，能够在本地和云端运行。

凭借 AnythingLLM 的用户友好界面，用户可以轻松地在工作流中试验和集成 NIM 微服务。此外，NVIDIA 的 AI 蓝图和 NIM 文档为用户提供了进一步增强 AI 项目的资源。

NVIDIA 的 NIM 微服务和 AI 蓝图的持续开发预计将解锁更多多模态 AI 用例，进一步扩展像 AnythingLLM 这样的应用程序的能力。