搭建一个CAS服务

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于其他

概述近期需要接入公司内部的 CAS 服务，但是因为公司内的测试环境不太丝滑，为了可以在本地进行一些测试，因此考虑在本地部署一套 CAS 的服务，以此作为验证

搭一套日志收集系统

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于大数据和机器学习

概述安装 ES/Logstash/Kibana 下载 ES，注意版本，测试期间最好将 ES 和 Kibana 和 Logstash 保持一致的版本。然后启动 ES。 1 2 3 4 5 6 7 8 9 10 11 12 # 下载脚本 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.zip sha1sum elasticsearch-5.3.0.zip unzip elasticsearch-5.3.0.zip cd elasticsearch-5.3.0/ # 运行

大规模离线计算产品的调研

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于大数据和机器学习

概述资源调度国内市面上的专用的大数据离线计算产品，一般都是采用 Hadoop 集群托管的方式，此类型的产品，大部分都是基于 YARN 来资源调度的。国外已经有云厂商

大数据面试

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于面试汇总

一句话概括HBase HBase 是一个分布式的、可伸缩的数据存储，其支持行级别的数据更新，快速查询和行级事务（不支持多行事务）。相比 Hive，Hive

大数据数据仓库的架构

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于大数据和机器学习

概述大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Sp

弹性计算平台-Spark-3.0.0

runzhliu 发布于 2017-02-01, 更新于 2017-02-01, 收录于大数据和机器学习

概述 TenC Spark 目前支持的 Spark 2.2.0 on K8S 的 Fork 已经不再维护了，目前社区 3.0.0（SNAPSHOT) 对于 K8S 的支持已经比较稳定了，而且提供了像 Hadoop ConfigMap 和 Secret 的配置和