概述 本文一起来了解一下 runc 配置的一些编译相关的操作。 编译环境 编译环境如下。 1 2 3 4 5 6 # uname -a Linux VM-16-15-centos 3.10.0-1160.11.1.el7.x86_64 #1 SMP Fri Dec 18 16:34:56 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux # go/bin/go version go version go1.16.11 linux/amd64 # git rev-parse

概述 要在 K8S 集群中部署一套 Spark History Server，首先要了解，怎么部署一个本地版本。然后就是了解一些基本的 K8S 相关的知识点。最后就是两部分知识结合起来

概述 之前我们组在生产环境上部署的是 Spark 2.2 on k8s 的那个 fork，部署在 K8S 上，至少需要一个 Dockerfile，最近有计划升级到 3.0.0 Snapshot 的分支代码上，借

概述 因为这个系列的主要是想讲怎么在 K8S 上运行 HS，所以篇3讲述的就是这个，假设你已经有一个 K8S 集群，一个 build 好的 image，本文只是将 HS 运行在 K8S 上

概述 features 包里的代码，主要是用于构建 Spark 在 K8S 中的各类资源所需要的特征，个人觉得可以理解成这些 features 就是帮你写各类 Kind 的 YAML 文件。 分析 看看 features 包里的代码。这里

概述 这一块代码可以理解为 Spark 是如何实现一个基于 K8S 的调度器，来调度生成 Executor Pod 的。 分析 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 /path/to/spark/resource-managers/kubernetes/core/src/main/scala/org/apache/spark/scheduler └── cluster └── k8s ├── ExecutorPodStates.scala ├─