llm
Character.AI 提升 AI 推理效率，成本降低 33 倍
Character.AI 宣布在 AI 推理技术方面取得重大突破，自上线以来服务成本降低了 33 倍，使大语言模型 (LLM) 更具可扩展性和成本效益。
Oracle 推出 HeatWave GenAI 的数据库内 LLM 和自动向量存储功能
Oracle 的 HeatWave GenAI 现在提供数据库内 LLM 和自动向量存储功能，使生成式 AI 应用无需 AI 专业知识或额外成本。
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
NVIDIA和Meta合作推出Llama 3.1和NeMo Retriever NIMs的先进RAG管道
NVIDIA和Meta推出了可扩展的代理RAG管道，配备Llama 3.1和NeMo Retriever NIMs，优化了LLM性能和决策能力。
Codestral Mamba：NVIDIA 下一代代码 LLM 革新代码补全
NVIDIA 的 Codestral Mamba，基于 Mamba-2 架构，使用先进的 AI 技术革新了代码补全，提升了编程效率。
NVIDIA 推出 NeMo Curator，用于定制 LLM 数据集的高效微调
NVIDIA 的 NeMo Curator 提供了一种简化的方法，通过定制数据集微调大型语言模型 (LLM)，优化机器学习工作流程。
LangGraph v0.2 通过新检查点器库增强定制功能
LangGraph v0.2 引入了新的检查点器库，包括 SQLite 和 Postgres 选项，以增强大型语言模型 (LLM) 应用的定制性和弹性。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能，克服了独特的语言挑战。
Circle 和 Berkeley 利用 AI 进行区块链交易的 TXT2TXN
Circle 和 Blockchain at Berkeley 推出了 TXT2TXN，这是一款使用大型语言模型的 AI 驱动工具，通过基于意图的应用简化区块链交易。
NVIDIA的Blackwell平台在MLPerf Inference v4.1中打破新记录
NVIDIA的Blackwell架构在MLPerf Inference v4.1中设立了新的基准，展示了在LLM推理方面显著的性能提升。
AMD Radeon PRO GPU和ROCm软件扩展LLM推断能力
AMD的Radeon PRO GPU和ROCm软件使小型企业能够利用包括Meta的Llama模型在内的高级AI工具，用于各种业务应用。
LangGraph.js v0.2 增强JavaScript代理，支持云和Studio
LangChain发布LangGraph.js v0.2，新增构建和部署JavaScript代理的功能，包括对LangGraph Cloud和LangGraph Studio的支持。
Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行
Ollama 使本地在 AMD GPU 上运行 Meta 的 Llama 3.2 模型变得更加容易，支持 Linux 和 Windows 系统。
创新的 LoLCATs 方法提升 LLM 的效率和质量
Together.ai 引入了 LoLCATs，这是一种用于线性化 LLM 的新方法，提升了效率和质量。该方法有望在 AI 模型开发中带来显著改进。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法，同时在 Kubernetes 环境中高效地部署和扩展这些模型。
NVIDIA 的 TensorRT-LLM 多模块注意力在 HGX H200 上提升 AI 推理性能
NVIDIA 的 TensorRT-LLM 引入多模块注意力，显著提升了 HGX H200 上的 AI 推理吞吐量，提升幅度高达 3.5 倍，解决了长序列长度的挑战。
NVIDIA TensorRT-LLM 在飞行批处理中增强编码器-解码器模型
NVIDIA 的 TensorRT-LLM 现在支持具有飞行批处理功能的编码器-解码器模型，为 AI 应用提供优化的推理。探索 NVIDIA GPU 上生成式 AI 的增强功能。
NVIDIA通过TensorRT-LLM中的ReDrafter支持增强LLM推理
NVIDIA的TensorRT-LLM现在支持Apple的ReDrafter，通过投机解码优化大语言模型推理，在NVIDIA GPU上提供显著的性能提升。
NVIDIA 推出 Nemotron-CC：用于 LLM 预训练的大规模数据集
NVIDIA 亮相 Nemotron-CC，这是一个包含 6.3 万亿标记的英语数据集，通过创新的数据整理方法提升大型语言模型的预训练。
LangSmith 通过 Pytest 和 Vitest 集成提升 LLM 评估
LangSmith 引入 Pytest 和 Vitest 集成，以增强 LLM 应用评估，为开发人员提供改进的测试框架。
NVIDIA 推出 DriveOS LLM SDK 助力自动驾驶车辆创新
NVIDIA 引入了 DriveOS LLM SDK，以促进大型语言模型在自动驾驶车辆中的部署，增强人工智能驱动应用的性能优化。
确保AI可靠性：NVIDIA NeMo Guardrails集成Cleanlab的可信语言模型
NVIDIA的NeMo Guardrails与Cleanlab的可信语言模型合作，旨在通过防止AI生成的反应中的幻想来增强AI的可靠性。
利用 GenAI-Perf 对 NVIDIA NIM 进行基准测试：综合指南
探索 NVIDIA 的 GenAI-Perf 工具如何对 Meta Llama 3 模型性能进行基准测试，并提供有关使用 NVIDIA NIM 优化基于 LLM 的应用程序的见解。
NVIDIA 发布 Nemotron-CC：用于增强大型语言模型训练的万亿标记数据集
NVIDIA 推出 Nemotron-CC，一个集成了 NeMo Curator 的万亿标记数据集，专为大型语言模型设计。这一创新流程优化了数据质量和数量，以实现卓越的 AI 模型训练。
Together 推出代码解释器 API，实现无缝的 LLM 代码执行
Together.ai 发布了 Together Code Interpreter (TCI)，提供可安全高效执行 LLM 生成代码的 API，增强智能代理工作流和强化学习操作。
NVIDIA NeMo Guardrails 增强了 LLM 流媒体功能，以实现更安全的 AI 交互
NVIDIA 推出了 NeMo Guardrails，以通过实时逐个代币输出验证来增强大语言模型 (LLM) 流媒体，改善生成式 AI 应用程序的延迟和安全性。
NVIDIA Grace Hopper 利用高级分析技术革新大型语言模型训练
探索 NVIDIA 的 Grace Hopper 架构和 Nsight Systems 如何优化大型语言模型（LLM）训练，解决计算挑战并最大化效率。
NVIDIA在Grace Hopper上揭示LLM训练的先进优化技术
NVIDIA推出了用于在Grace Hopper超级芯片上优化大型语言模型（LLM）训练的先进策略，提升了GPU内存管理和计算效率。
NVIDIA 推出 RTX AI PC 加速以增强 AnythingLLM
NVIDIA 最新将 RTX GPU 集成到 AnythingLLM 中，提供更快的本地 AI 工作流性能，提高了 AI 爱好者的可访问性。
NVIDIA 推出高性能 FlashInfer，用于高效的 LLM 推理
NVIDIA 的 FlashInfer 通过优化计算内核提高了 LLM 推理速度和开发者效率，并提供了一个可定制的库，用于高效的 LLM 服务引擎。