概述 本文整理自: https://zhuanlan.zhihu.com/p/25772054 基本点 让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark 是大数据领域中相当火热的计算框架，在大数据分析领域有一

概述 Spark 跟 Hadoop 生态的紧密联系就不用多说了，由于最近在处理一个 Kerberos 相关的问题，所以就好奇看看 Spark 里是怎么操作 Kerberos 认证的，以后如果有需要自己做的话，也可以

概述 Spark 和 Elasticsearch 是90%大数据工程师的基础技术栈了，前者不用多说了，就是业界的大数据计算框架，后者则是优秀的搜索框架。 推荐系统 业务上这两个框架经常

6 Hadoop Security Guide https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.0/bk_Security_Guide/content/kerberos-overview.html To create secure communication among its various components, HDP uses Kerberos. Kerberos is a third-party authentication mechanism, in which users and services that users wish to access rely on the Kerberos server to authenticate each to the other. This mechanism also supports encrypting all traffic between the user and the service. The Kerberos server itself is known as the Key Distribution Center, or KDC. At

概述 Spark 任务监控分为两个维度，三个模块。 两个维度包括: Spark Operator Spark 应用本身 三个模块包括： Spark Operator 通过Spark Operator部署的Spark3应用 Sp

Kafka分布式的情况下，如何保证消息的顺序 https://www.cnblogs.com/haoxinyue/p/5743775.html Kafka 分布式的单位是 Partition。如何保证消息有序，需要分几个情况讨论。 同一个 Partition 用一个 write ahead log