Accelerating analytics: PayPal’s journey with Managed Service for Apache Spark

PayPal使用Google Cloud Apache Spark托管服务的历程 | Google Cloud Blog

数据分析

加速分析：PayPal使用Google Cloud Apache Spark托管服务的历程

2026年10月2日

##### Vinod Ganesan

PayPal分析可靠性工程部总监

##### Raghu Agani

PayPal大数据平台工程部高级经理

##### 立即体验Gemini Enterprise

职场人工智能的入口

立即体验

在数据驱动的世界中，PayPal能够及时提供可操作的洞察是保持领先的关键。在PayPal，数据从欺诈检测到用户体验优化无所不在。数据也是释放智能解决方案和体验潜力的核心。

然而，随着时间推移，我们的分析环境逐渐演变为一个复杂的生态系统，由各种技术和解决方案在本地构建而成，以应对不断增长的需求。虽然这种方法在当时满足了我们的需求，但开始带来新的扩展和维护挑战。

应对复杂的分析环境

由于快速增长和并购，我们的数据分析平台逐渐变得支离破碎。每个新平台或集成都针对特定业务需求，但整体来看却增加了运营负担并造成性能瓶颈。可扩展性变得越来越困难，随着流程复杂度增加，洞察获取时间也显著延长。

复杂性导致停滞

PayPal的遗留数据分析平台功能强大——每天处理PB级数据——但随着快速增长，其灵活性却日益下降。在零售高峰或全球发布期间进行扩展意味着需要数月的规划、缓慢的手动硬件配置，而且常常不得不在速度和成本之间做出妥协。

随着PayPal持续全球扩展，我们认识到需要一个精简统一的基础设施来提升数据效率并加速创新。

解决方案：统一的云原生分析平台

为克服这些障碍，我们将分析工作负载从本地遗留Hadoop平台迁移至Google的Apache Spark托管服务。

选择该方案的关键原因包括：

• 快速部署和弹性扩展：托管Spark使我们能在数分钟内部署集群，并根据处理需求进行扩展，消除了漫长的设置过程和闲置资源成本。

• 统一基础设施：采用Apache Spark标准化使各团队保持一致性，同时利用Apache Spark托管服务和其他托管服务减少了运营复杂性。

• 无缝集成：通过原生接口连接Google Cloud Storage（GCS）、BigQuery等Google Cloud服务，简化了端到端数据传输。

这次迁移使PayPal能够现代化数据处理能力，充分利用云原生解决方案的灵活性、可扩展性和可靠性。通过将原本分散在多个平台运行的离散工作流和批处理作业整合到单一云分析平台，我们减少了数据孤岛，构建了统一的数据基础，从而获得更快、更丰富的洞察。

这使开发人员和应用团队能够专注于创造商业价值，而非受制于基础设施。关键的是，这次转变不仅仅是平台迁移。我们培育了新的实验文化，使团队能够快速响应不断变化的业务需求，快速测试、调整和部署分析工作负载。

成果：更快的洞察，更低的运营成本

利用基于 Google Cloud 的现代化生态系统和托管 Spark 的影响深远：

• 核心分析工作负载的处理时间提升了 25%，使关键业务运营能够获得接近实时的洞察。

• 即使在流量高峰（如季节性销售活动）期间，SLA 合规性也显著提升了 30%。

• 随着工具整合和减少人工维护，运营成本大幅下降。

但更重要的是，我们的工程师现在花更少时间处理突发问题，而更多时间用于创新，快速开发新的分析功能，为客户提供价值并为合作伙伴创造价值。

从碎片化环境过渡到统一的云原生平台，从根本上增强了 PayPal 的分析能力。随着业务需求的演变，投资于可扩展的统一数据基础，使我们能够以速度、精确度和影响力提供洞察，为全球客户推动持续创新。我们与 Apache Spark 托管服务的旅程是构建这一现代分析基础的重要一步。

立即了解如何通过 Apache Spark 托管服务和 BigQuery 开始构建您的 Agentic Data Cloud。

发布于

• 数据分析

• 金融服务