产品
别名：Apache Spark
Apache Spark是一个开源的集群计算系统，用于大规模数据处理。
已跟踪 5 条高相关材料
最近变化
2026-06-03 · 设置`spark.kubernetes.local.dirs.tmpfs=true`将所有shuffle spill数据存储在节点内存中，可能导致内存溢出。
为什么值得关注
Spark 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Top 10 Python Libraries for Data Engineering in 2026
KDnuggets · 8.7 分
2026年数据工程领域最值得关注的10个Python库，涵盖编排、摄入、质量与存储四大核心场景，其中Prefect、SQLMesh、dlt和Bytewax等新兴工具正重塑数据管道构建方式，显著降低运维复杂度并提升可维护性。
Article: Two Misconfigurations That Caused Spark OOM Failures on Kubernetes
InfoQ · 8.5 分
本文讨论了在Kubernetes上运行Spark时，由于两个基础设施设置不当导致的内存溢出问题。这两个设置分别是：将`spark.kubernetes.local.dirs.tmpfs=true`设置为RAM-backed local scratch directories，以...
Connecting AI agents with unstructured data using Google Cloud Storage MCP Servers
Google Cloud Blog · 8.5 分
文章深入探讨了如何利用 Google Cloud Storage (GCS) MCP 服务器将 AI 代理与非结构化数据连接，提供了三个客户案例，并详细介绍了 GCS 提供的两种 MCP 服务器（远程和本地）如何简化代理部署，提升安全性。
已收录 5 条与 Spark 相关的内容，按评分排序。
The top 10 Python libraries for data engineering in 2026 revolutionize pipeline construction across orchestration, ingestion, quality, and storage—especially Prefect, SQLMesh, dlt, and Bytewax, which drastically reduce operational complexity and boost maintainability.
入选理由：Prefect允许用纯Python装饰函数构建可观测流水线，无需额外数据库即可实现实时监控与自动重试。
This article discusses the memory overflow issues that occurred when running Spark on Kubernetes due to two不当的基础设施设置。These settings are: setting `spark.kubernetes.local.dirs.tmpfs=true` to store all shuffle spill data in node memory, and using a hard `podAffinity` rule to force all executors to be placed on the same node. These settings cause shuffle spill to consume node memory instead of disk, leading to repeated OOM failures. By adjusting these settings, the issue can be resolved.
入选理由：设置`spark.kubernetes.local.dirs.tmpfs=true`将所有shuffle spill数据存储在节点内存中，可能导致内存溢出。
This article explores how to connect AI agents with unstructured data using Google Cloud Storage (GCS) MCP servers, providing three customer case studies and detailing how GCS's two MCP server options simplify agent deployment.
入选理由：Palo Alto Networks 的 Strata Co-Pilot 使用 GCS MCP 服务器作为其‘历史记忆’，结合 Gemini Live API 提供屏幕感知的网络配置辅助。
Arena.ai uses a unified tagging system to process millions of votes per week, with a data pipeline built on Databricks and Spark.
入选理由：Arena.ai 每周处理数百万次用户投票，依赖统一标签系统进行分类。
This article introduces the winning projects from the NVIDIA Developer community's NYC Spark hackathon, showcasing how developers use NVIDIA technology to build multi-agent systems.
入选理由：NVIDIA Developer社区在纽约的Spark黑客松中，有多个团队展示了基于NVIDIA技术的多智能体系统开发成果。
