🔔
🎄
🎁
⭐
🦌
➰
🛷
Search results for
tensorrt-llm
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能，克服了独特的语言挑战。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法，同时在 Kubernetes 环境中高效地部署和扩展这些模型。
NVIDIA 的 TensorRT-LLM 多模块注意力在 HGX H200 上提升 AI 推理性能
NVIDIA 的 TensorRT-LLM 引入多模块注意力，显著提升了 HGX H200 上的 AI 推理吞吐量，提升幅度高达 3.5 倍，解决了长序列长度的挑战。
NVIDIA TensorRT-LLM 在飞行批处理中增强编码器-解码器模型
NVIDIA 的 TensorRT-LLM 现在支持具有飞行批处理功能的编码器-解码器模型，为 AI 应用提供优化的推理。探索 NVIDIA GPU 上生成式 AI 的增强功能。
NVIDIA通过TensorRT-LLM中的ReDrafter支持增强LLM推理
NVIDIA的TensorRT-LLM现在支持Apple的ReDrafter，通过投机解码优化大语言模型推理，在NVIDIA GPU上提供显著的性能提升。