概述 由于 Spark 正在就 SPIP: Use remote storage for persisting shuffle data 在改造 External Shuffle Service，所以目前 Spark on Kubernetes 还未能通过 External Shuffle Service 进行动态资源分配（在之前的文章也已经介绍过），所以本

概述 如果你平时很关注社区，那么肯定想经常试用社区提交的新的 feature，但是是不是一定要 git fecth 最新的代码，本地打包再解压才能玩起来呢？ 如果是

概述 spark-on-k8s-operator，下文简称 Spark Operator， 背景知识就不介绍太多了，本文主要分享一下 Spark Operator 的指标系统是如何构建

概述 Spark Operator 大概是在 2017 年下半年开始开发的，但是因为并不是 GCP 官方团队支持的项目，但是也还是由 GCP 的工程师来发开维护。所以目前看，国内没有大规模生产环

概述 Google 了一下，目前关于 Spark Operator 的讨论还比较少。 1 2 3 4 5 6 7 . ├── crd.go ├── doc.go ├── scheduledsparkapplication │ └── crd.go └── sparkapplication └── crd.go sparkapplication 是对常规spark任务的抽象，

概述 本文将 Spark 作业称为 Spark Application 或者简称为 Spark App 或者 App。目前 TenC 弹性计算平台的 Spark 作业，是通过 Spark Operator 提交给 Kubernetes 集群的，这与 Spark 原生的直接通过 spark-submit 提交 Spark App 的方式