搭建大数据平台

概述

不管是作为大数据平台，做基础架构还是做数据开发的同学，不免都会与运维同学有些冲突，甚至如果你想调研一个新的技术或者框架的时候，限制还很多，所以为了平时能更多的实践和操作。

部署目标

• hadoop
• hive
• hbase
• mesos
• spark
  • history server http://master:18080
• spark on yarn
• carbondata
  • carbondata on yarn
• flink
• kafka
  • kafka manager http://master:6066
• flume
• impala
• k8s
• airflow
  • spark on airflow
• elasticsearch
• kibana
• tensorflow serving
• mysql
• 数据仓库
• zookeeper
• redis
• kylin
• filebeat

Hadoop 部署完后，需要部署一下 Hive。

Hive 基本上部署完，只要环境变量 HADOOP_HOME 配置正确，就不会有什么问题，否则可以在 Hive 的启动脚本中指定 HADOOP_HOME。

参考资料

💡赞赏支持

微信打赏 支付宝打赏