概述 Spark Track Server 之前使用的时候一直感觉有时候可以有时候又访问失败，失败情况。 Replay 找出出问题的节点。 错误日志如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

1 Overview 调研基于 Spark 2.2 on K8S，访问 Kerberized HDFS 的方法。其实 Spark 2.3/2.4 的方案应该差别不大。 2 Practice 2.1 Prerequisite Kerberized HDFS: 此处参考 HDFS kerberos 客户端使用，关键是 hdfs.keytab 和 krb5.conf Spark Driver/Executor/Init/Base 镜像 Installed & Runnig Kubernetes Cluster 2.2 Build

概述 因为有计划将 K8S 上的 Spark 2.2 升级到更新的版本，关于动态资源扩展，是一个比较关心的问题。 Comparison 先看看目前 Spark 2.4.3 里 KubernetesClusterSchedulerBackend 是怎么写的。 所以说，这部分的工作在是

概述 这个项目是之前的同事推荐看的，周末看了下，写篇文章总结下，本文主要解读一下 README，然后本地跑起来看看，最后分析一下具体实现。 Spa

概述 假设程序中需要对一个接近 3T 的模型文件进行 cache。 代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 object Persona { def main(args: Array[String]): Unit = { val spark = SparkSession .builder .appName

RDD缓存 Persist 到内存的 RDD，比较多，9T左右，Excutor 一共分配了25T内存。剩下给 Shuffle 的空间不算大了，所以会引起频繁的 GC。 建议: 减少缓