1 Overview Spark 2.2 on K8S 的 Fork 已经废弃近两年了，那时候的几个主力开发也全部转移到 Spark 2.3/2.4 以及即将发布的 3.0 的 on K8S 模块的开发了。 3.0 相对于 2.2 的 Fork 除了关于 Spark App 的管理外

概述 测试不同用户写入 HDFS 的情况 1 2 3 4 5 6 7 8 9 10 11 12 [root@master /data/runzhliu/hadoop/bin]# ./hdfs dfs -ls hdfs://sh-spark.hdfs.cr.hdfs.db:9000/ Found 10 items drwxr-xr-x - hadoop supergroup 0 2018-12-03 12:15 hdfs://sh-spark.hdfs.cr.hdfs.db:9000/runzhliu drwxrwxrwx - hadoop supergroup 0 2018-08-13 11:34 hdfs://sh-spark.hdfs.cr.hdfs.db:9000/dslogs drwxrwxrwx - hadoop supergroup 0 2017-10-16 21:42 hdfs://sh-spark.hdfs.cr.hdfs.db:9000/fightingdu drwxrwxrwx - hadoop supergroup 0 2018-08-15 17:18 hdfs://sh-spark.hdfs.cr.hdfs.db:9000/junjiantang drwxrwxrwx - hadoop

概述 学习资料来源于官方文档，感兴趣的同学，可以 clone 下来研究一下。 Spark Example 本文的目标就是利用 Kubernetes 和 Docker 来构建一个可用的 Spark 集群。 Sources Prerequisites 在运行这个 Example 的前提如下

概述 https://databricks.com/session/apache-spark-on-k8s-and-hdfs-security Spark 从2.3开始支持 Native 的 K8S 作为 resourceManager 了，官网内容很多，就不赘述了，这里主要参考2018年的 Spark Submit 一个 Share，来尝试搭建一套做大数据计算时候

概述 本文主要讲 Apache Spark 在 on Kubernetes 的 PodTemplate 的问题，以及也会讲到 Spark Operator 里关于 PodTemplate 的问题，当然也会讲到 Apache Spark 2.2 on Kubernetes 那个 Fork 的版本，感兴趣的同学可以往下看看。 之前讲过 Apache

1 Spark 简介和入门 1.1 Spark Overview 1.2 Spark Core 1.3 Spark SQL 1.4 Spark Streaming 1.5 Spark MLlib 1.6 分布式 Spark 架构 1.6.1 Standalone 1.6.2 Apache Mesos 1.6.3 Hadoop Yarn 1.6.4 Kubernetes 1.7 小结 2 Kubernetes 简介和入门 2.1 Kubernetes 基础概念 用较少的篇幅介绍 Master/Node/Pod/Label/Deployment/Job/Volume/Namespace/ConfigMap 等基础概念。