概述 当第一次碰到 Spark，尤其是 Checkpoint 的时候难免有点一脸懵逼，不禁要问，Checkpoint 到底是什么。所以，当我们在说 Checkpoint 的时候，我们到底是指

1 Overview Spark 容器化的前提是需要 Spark 的镜像文件，那么怎么 build 呢？Spark 官方是提供了 Dockerfile 的，并且也提供了脚本工具，可以自行 build 并发布到自己的 Restry 里。 2 Spa

概述 最近接手一个项目，惊讶的发现一个运行了一年多的系统，连日志打的都如此不规范，更不用谈什么监控等体系了，可想而知如果线上出现问题的时候，排

概述 Spark中所谓资源单位一般指的是 executors，和 Yarn 中的 Containers 一样，在 Spark On Yarn 模式下，通常使用 –num-executors 来指定 Application 使用的

概述 本文整理自: https://zhuanlan.zhihu.com/p/25772054 基本点 让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark 是大数据领域中相当火热的计算框架，在大数据分析领域有一

概述 Spark 跟 Hadoop 生态的紧密联系就不用多说了，由于最近在处理一个 Kerberos 相关的问题，所以就好奇看看 Spark 里是怎么操作 Kerberos 认证的，以后如果有需要自己做的话，也可以