/images/avatar.png

runzhliu

Number-of-Partitions-for-groupBy-Aggregation

概述 本文对原文进行翻译并且重新排版,英文没有问题的同学可以直接看原文。 原文地址为 https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-performance-tuning-groupBy-aggregation.html 本次 case study 的目标是在 Spark SQL 使用 groupBy 聚合的合理的 partition 数量的调优。 创建

nvidia-docker安装系列

概述 按照官网文档,可以按照下面的命令进行安装。 1 2 3 4 5 6 7 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo yum-config-manager --enable libnvidia-container-experimental # 验证 nvidia-docker run -–rm nvidia/cuda nvidia-smi Kubernetes GPU插件安装 https://github.com/NVIDIA/k8s-device-plugin#deployment-via-helm 1 2 3 4

nvidia-smi速度慢

概述 同事反馈 GPU 机器的 nvidia-smi 速度很慢,有卡住的情况。 分析 正常还是通过 strace 查看一下,发现系统调用 open 会卡住一段时间。 参考 persistence-mode