概述 Spark 任务监控分为两个维度，三个模块。 两个维度包括: Spark Operator Spark 应用本身 三个模块包括： Spark Operator 通过Spark Operator部署的Spark3应用 Sp

Kafka分布式的情况下，如何保证消息的顺序 https://www.cnblogs.com/haoxinyue/p/5743775.html Kafka 分布式的单位是 Partition。如何保证消息有序，需要分几个情况讨论。 同一个 Partition 用一个 write ahead log

概述 熟悉 Spark 的用户都知道，Spark 的 Application Jar 以及一些资源文件都需要一个 Submit/Driver/Executor 可达的地址，通常来都会通过 Local 或 HDFS 和 HTTP 服务的方式来提供。以往 TenC 弹性计算 Spark 任

概述 Spark 是开源的分布式大规模数据处理通用引擎，具有高吞吐、低延时、通用易扩展、高容错等特点。 1.1 Spark 基础核心概念 Client: Driver: Executor: 负责执行 Driver 分发的 Task 任务。集群

概述 Spark 本身在数据处理流程里占据非常重要的地位，而在人工智能的战场，传统 Spark 能带来什么呢？ 在深度学习里，模型训练一般都被 Tensorflow, PyTorch 等深度学习框架占领了

概述 参考资料 https://www.elastic.co/guide/en/elasticsearch/hadoop/current/performance.html https://www.elastic.co/blog/why-am-i-seeing-bulk-rejections-in-my-elasticsearch-cluster 摘抄一段官方文档的描述： Write performance A crucial aspect in improving the write performance is to determine the maximum rate of data that Elasticsearch can ingest comfortably. This depends on many variables (data size, hardware, current load, etc..) but a good rule of thumb is for a bulk request to not take longer than