Search results for
tensorrt-llm
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能，克服了独特的语言挑战。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法，同时在 Kubernetes 环境中高效地部署和扩展这些模型。