Search results for
tensorrt
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能，克服了独特的语言挑战。
NVIDIA发布TensorRT Model Optimizer v0.15，提升推理性能
NVIDIA发布了TensorRT Model Optimizer v0.15版本，通过缓存扩散和扩大AI模型支持等新功能提升推理性能。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法，同时在 Kubernetes 环境中高效地部署和扩展这些模型。