借助 Azure 上的无服务器 Apache Spark 和 NVIDIA 增强 AI
realtime news Jul 23, 2025 15:54
探索如何将 Apache Spark 与 Azure 上的 NVIDIA AI 无服务器架构相结合，以革新数据处理，为生成式 AI 任务提供可扩展且高效的解决方案。
据 NVIDIA 称，Apache Spark 与 Azure 上的 NVIDIA AI 无服务器平台的集成正在分布式数据处理领域设立新标准。这种创新方法尤其有利于生成式 AI 应用程序，其中将大型文本库转化为数字嵌入是至关重要的。嵌入构成了语义搜索和推荐引擎等技术的基础，使得大型语言模型（LLM）能够有效地处理和理解数据。
利用 Apache Spark 进行可扩展的数据处理
Apache Spark 以其通过多台机器分配任务来处理大规模数据的能力而闻名。然而，生成嵌入的计算强度需要加速计算解决方案。NVIDIA 的方法利用 Azure 的无服务器 GPU 来满足这一需求，在保持高性能的同时简化 GPU 基础设施的管理。
在 Azure 上使用无服务器 GPU 部署
该解决方案涉及通过 Azure 容器应用程序 (ACA) 使用无服务器 GPU 部署分布式 Spark 应用程序。这种设置使得 Spark 能够管理海量数据集，同时 ACA 抽象出管理和扩展计算资源的复杂性。通过使用像 NVIDIA RAPIDS 加速器这样的高性能库，系统实现了一种既具成本效益又高效的灵活可扩展的配置。
在此架构中，Apache Spark 前端控制器对任务进行编排，而 GPU 加速的 Spark 工作程序应用则执行重负载的数据处理。这些组件在一个 Azure 容器应用程序环境中操作，使用 Azure 文件进行共享数据存储。此架构支持开发和生产环境，提供可扩展性和易于部署的特性。
构建和部署应用程序
过程始于设置 Apache Spark 控制器应用程序，包括构建容器镜像并使用 Azure 的资源创建应用程序。控制器应用指导工作节点并托管服务以接收处理请求。对于 GPU 加速，应用 GPU 工作负载配置文件，支持 NVIDIA A100 和 T4 GPU。
在一个基础的 NVIDIA 底层镜像上构建的工作程序应用，利用 NVIDIA RAPIDS 加速器通过利用 GPU 来增强 Spark 的性能。这些应用程序是自动可扩展的，根据处理需求动态调整 GPU 实例的数量。
运行分布式任务
当 Spark 控制器和工作程序应用启动后，系统就绪进行数据处理。任务如从 SQL Server 数据生成文本嵌入并将结果写回数据库。控制器模式决定了是通过 Jupyter 界面提交作业用于开发，还是通过 HTTP 触发器用于生产。
这种无服务器架构不仅简化了基础设施管理，还允许资源动态扩展，从而显著节省成本。在同一框架内在开发和生产模式之间灵活切换提高了其对拥有高要求 AI 工作负载企业的实用性。
欲了解更多信息和详细的概述，可以查阅 NVIDIA/GenerativeAIExamples GitHub 存储库，该仓库提供了部署此解决方案的代码和资源。此外，名为“利用 Azure 容器应用的无服务器 GPU 保护下一代 AI 应用”的演示会话提供了对这种突破性方法的全面概述。
Image source: Shutterstock.jpg)
