微软推出在NVIDIA GPU上训练的多模态SLMs
realtime news Feb 26, 2025 16:05
微软揭示了新的Phi SLMs，包括在NVIDIA GPU上训练的多模态Phi-4，利用高效的资源使用提升了AI能力。
微软宣布了其Phi小型语言模型（SLMs）家族的最新成员，包括新款Phi-4多模态和Phi-4-mini模型，均使用NVIDIA GPU进行训练。根据NVIDIA，这一发展标志着语言模型演变的重要一步，重点在于效率和多功能性。
小型语言模型的进步
SLMs成为了应对大语言模型（LLMs）挑战的实用解决方案，这些模型虽然功能强大，但需要大量计算资源。SLMs被设计为在限制环境中高效运行，使其适合部署在内存和计算能力有限的设备上。
微软新的Phi-4多模态模型尤其引人注目，因为它能够处理多种类型的数据，包括文本、音频和图像。该能力为自动语音识别、翻译和视觉推理等应用带来了新的可能性。该模型的训练使用了512块NVIDIA A100-80GB GPU，历时21天，凸显了其实现能力所需的大量计算努力。
Phi-4多模态和Phi-4-mini
Phi-4多模态模型拥有56亿个参数，并在自动语音识别方面表现优异，以6.14%的词错误率位居Huggingface OpenASR排行榜首位。这一成就突显了该模型在提升语音识别技术方面的潜力。
除了Phi-4多模态，微软还引入了Phi-4-mini，一种文本专用模型，优化用于聊天应用程序。Phi-4-mini拥有38亿个参数，旨在高效处理长形式内容，提供128K令牌的上下文窗口。其训练使用了1024块NVIDIA A100 80GB GPU，耗时14天，反映了模型对高质量教育数据和代码的关注。
部署和可访问性
这两个模型均在微软Azure AI Foundry上可用，提供一个设计、定制和管理AI应用程序的平台。用户还可以通过NVIDIA API目录探索这些模型，该目录提供了一个沙盒环境，用于测试和将这些模型集成到各种应用中。
NVIDIA与微软的合作不仅限于训练这些模型。该合作包括优化软件和像Phi这样的模型，以促进AI透明度并支持开源项目。此合作旨在推动从医疗保健到生命科学等领域的AI技术进步。
欲了解更多详细信息，请访问NVIDIA博客。
Image source: Shutterstock