概述 按照官网文档，可以按照下面的命令进行安装。 1 2 3 4 5 6 7 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo yum-config-manager --enable libnvidia-container-experimental # 验证 nvidia-docker run -–rm nvidia/cuda nvidia-smi Kubernetes GPU插件安装 https://github.com/NVIDIA/k8s-device-plugin#deployment-via-helm 1 2 3 4

概述 同事反馈 GPU 机器的 nvidia-smi 速度很慢，有卡住的情况。 分析 正常还是通过 strace 查看一下，发现系统调用 open 会卡住一段时间。 参考 persistence-mode

概述 NVIDIA TensorRT Inference Server 是 NVIDIA 推出的，经过优化的，可以在 NVIDIA GPUs 使用的推理引擎，TensorRT 有下面几个特点。 支持多种框架模型，包括TensorFlow GraphDef, TensorFlow

概述 OpenVINO™ Model Server is a scalable, high-performance solution for serving machine learning models optimized for Intel® architectures. OpenVINO 是 Intel 推出的用于推理服务的 CPU 加速器，如果你用过 NVIDIA TensorRT，那么对这个

概述 Grafana 内置支持 Prometheus 的用法。 添加数据源 关于添加数据源，就不多赘述了。跟其他数据源的添加是类似的。 Query editor 这里需要重点介绍一下 Query editor 的配置。 Name 描述 Query expression 这

概述 本文简述一下 Prometheus 的 Metrics。 Metrics 首先，什么是 Metrics？ Metrics(指标)，可以理解为它是一个工具，用来记录系统正在发生的事情