Together AI扩展DeepSeek-R1的部署，推出增强的无服务器API和推理集群
realtime news Feb 13, 2025 11:39
Together AI通过新的无服务器API和推理集群增强了DeepSeek-R1的部署，为大规模推理模型应用提供高速和可扩展的解决方案。
Together AI宣布其DeepSeek-R1推理模型的部署取得重要进展，引入了增强的无服务器API和专用的推理集群。此举旨在支持那些将复杂推理模型集成进生产应用的公司的不断增长的需求。
增强的无服务器API
据报道，新推出的DeepSeek-R1 Together无服务器API的速度是市场上任何其他API的两倍，能够实现低延迟、生产级推理，并具备无缝的可扩展性。此API旨在为公司提供快速、响应迅速的用户体验和高效的多步骤工作流，这是现代应用依赖推理模型所必需的。
无服务器API的主要特点包括无需基础设施管理的即时扩展、灵活的按需付费定价，以及在Together AI数据中心托管增强的安全性。与OpenAI兼容的API进一步促进了现有应用的轻松集成，在规模等级上提供了每分钟高达9000个请求的高速率限制。
推出Together推理集群
为了补充无服务器解决方案，Together AI推出了Together推理集群，这些集群提供了针对高吞吐量、低延迟推理优化的专用GPU基础设施。这些集群尤其适合处理多变的、令牌密集的推理工作负载，实现高达每秒110个令牌的解码速度。
这些集群利用了专有的Together推理引擎，据报道比开源引擎如SGLang快2.5倍。这种效率允许在显著减少GPU数量的情况下实现相同的吞吐量，从而降低基础设施成本，同时保持高性能。
可扩展性和成本效益
Together AI提供了一系列集群大小，以匹配不同的工作负载需求，通过基于合同的定价模型确保成本的可预测性。这种设置对拥有高容量工作负载的企业尤其有益，提供了一种比基于令牌定价更具成本效益的替代方案。
此外，专用的基础设施确保了位于北美数据中心内的安全、隔离的环境，符合隐私和合规要求。通过企业支持和服务水平协议保证99.9%的正常运行时间，Together AI为关键任务应用程序提供可靠的性能。
欲了解更多信息，请访问Together AI。
Image source: Shutterstock