Llama 3.1 现已优化适用于从数据中心到 AI PC 的AMD平台
realtime news Jul 23, 2024 18:46
AMD 和 Meta 的 Llama 3.1 为 AMD 平台带来了增强的 AI 功能，包括 Instinct MI300X GPU 和 EPYC CPU。
对于人工智能 (AI) 生态系统来说，AMD 宣布 Meta 最新的 Llama 3.1 大型语言模型 (LLM) 现已优化适用于 AMD 平台，这是一个重要的发展。这包括从高性能数据中心解决方案到边缘计算和 AI 个人计算机的一切。据 AMD.com 介绍。
AMD Instinct™ MI300X GPU 加速器和 Llama 3.1
由 Meta 开发的 Llama 3.1 模型引入了增强的功能，包括最高 128K 的上下文长度、支持八种语言和 Llama 3.1 405B，最大的开放基础模型。AMD 确认其 Instinct MI300X GPU 可以高效运行这一模型，利用其领先的内存容量和带宽。单个 AMD Instinct MI300X 可以处理多达八个并行实例的 Llama 3 模型，为组织提供显著的成本节约和性能效率。
Meta 在开发 Llama 3.1 时使用了 AMD 的 ROCm™ 开放生态系统和 Instinct MI300X GPU，进一步巩固了这两大技术巨头之间的协作努力。
AMD EPYC™ CPU 和 Llama 3.1
AMD EPYC CPU 为数据中心工作负载提供高性能和能效，使其成为运行 AI 和 LLM 的理想选择。Llama 3.1 模型作为一个基准，帮助数据中心客户评估技术性能、延迟和可扩展性。在仅有 CPU 的环境中，AMD 第四代 EPYC 处理器提供了具有吸引力的性能和效率，使其适用于无需 GPU 加速的较小模型，如 Llama 3 8B。
AMD AI PC 和 Llama 3.1
AMD 还致力于通过其 Ryzen AI™ 系列处理器将 AI 民主化，允许用户在没有高级编码技能的情况下利用 Llama 3.1 的力量。通过与 LM Studio 的合作，AMD 为客户提供了使用 Llama 3.1 模型执行各种任务的能力，例如编写电子邮件、校对文档和生成代码。
AMD Radeon™ GPU 和 Llama 3.1
对于有兴趣在本地驱动生成性 AI 的用户，AMD Radeon™ GPU 提供了设备上的 AI 处理能力。结合 AMD Radeon 桌面 GPU 和 ROCm 软件，即使是小型企业也可以在标准桌面 PC 或工作站上运行定制的 AI 工具。配备 Radeon PRO W7900 GPU 和 Ryzen™ Threadripper™ PRO 处理器的 AMD AI 桌面系统，为高精度调整和运行推理的 LLM 提供了新的解决方案。
结论
AMD 和 Meta 合作优化 Llama 3.1 以适应 AMD 平台，标志着 AI 生态系统中的一个重要里程碑。Llama 3.1 与 AMD 多样化硬件和软件解决方案的兼容性确保了无与伦比的性能和效率，促进各种行业的创新。
Image source: Shutterstock