概述 如果你平时很关注社区，那么肯定想经常试用社区提交的新的 feature，但是是不是一定要 git fecth 最新的代码，本地打包再解压才能玩起来呢？ 如果是

概述 spark-on-k8s-operator，下文简称 Spark Operator， 背景知识就不介绍太多了，本文主要分享一下 Spark Operator 的指标系统是如何构建

概述 Spark Operator 大概是在 2017 年下半年开始开发的，但是因为并不是 GCP 官方团队支持的项目，但是也还是由 GCP 的工程师来发开维护。所以目前看，国内没有大规模生产环

概述 Google 了一下，目前关于 Spark Operator 的讨论还比较少。 1 2 3 4 5 6 7 . ├── crd.go ├── doc.go ├── scheduledsparkapplication │ └── crd.go └── sparkapplication └── crd.go sparkapplication 是对常规spark任务的抽象，

概述 本文将 Spark 作业称为 Spark Application 或者简称为 Spark App 或者 App。目前 TenC 弹性计算平台的 Spark 作业，是通过 Spark Operator 提交给 Kubernetes 集群的，这与 Spark 原生的直接通过 spark-submit 提交 Spark App 的方式

概述 Spark Operator 计算任务类型，底层和 Kubernetes 集成的方式是采用了 spark-on-k8s-operator 而本文主要是讲述，如何使用开箱即用的指标输出功能。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ARG SPARK_IMAGE=gcr.io/spark-operator/spark:v2.4.4 FROM