概述 之前我们组在生产环境上部署的是 Spark 2.2 on k8s 的那个 fork，部署在 K8S 上，至少需要一个 Dockerfile，最近有计划升级到 3.0.0 Snapshot 的分支代码上，借

概述 因为这个系列的主要是想讲怎么在 K8S 上运行 HS，所以篇3讲述的就是这个，假设你已经有一个 K8S 集群，一个 build 好的 image，本文只是将 HS 运行在 K8S 上

概述 features 包里的代码，主要是用于构建 Spark 在 K8S 中的各类资源所需要的特征，个人觉得可以理解成这些 features 就是帮你写各类 Kind 的 YAML 文件。 分析 看看 features 包里的代码。这里

概述 这一块代码可以理解为 Spark 是如何实现一个基于 K8S 的调度器，来调度生成 Executor Pod 的。 分析 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 /path/to/spark/resource-managers/kubernetes/core/src/main/scala/org/apache/spark/scheduler └── cluster └── k8s ├── ExecutorPodStates.scala ├─

概述 Kubernetes 是作为新的 resourceManager 集成到 Spark 中的，集成的思路跟将 YARN 集成是类似的，Spark 本身提供 Standalone 这种资源管理的模式，当然是不够的。 而集成 Kubernetes 的方式，其实是很

概述 由于 Spark 正在就 SPIP: Use remote storage for persisting shuffle data 在改造 External Shuffle Service，所以目前 Spark on Kubernetes 还未能通过 External Shuffle Service 进行动态资源分配（在之前的文章也已经介绍过），所以本