概述 DeepSpeed Chat 是基于 DeepSpeed 来做训练的，只是前提，如果搞不清楚这两者的关系，你可能无法阅读这篇文章。因此在 DeepSpeed Chat 的训练脚本里，随处可以看到 deepspeed 这个关键词，本

概述 目前主要关注 PPO 训练的部分，下面大致介绍一下，如何通过 LET(LLaMA Efficient Tuning) 在 LLM 平台运行基于 Baichuan2-13B-Chat 的 PPO 训练，用户可以基于下面的例子，通过修改对应的脚本，在 LLM 平

概述 text-generation-webui 是目前大模型平台提供给业务测试语言模型的一个开源的 web 系统，因为离线部署、模型模块的修改等原因，内部维护了一个版本，详情可以参考 text

概述 因为经常会搞混 pem、key、csr 和 crt 文件的概念，所以这里简要记录一下。 证书的格式和类型 pem文件 pem（Privacy-Enhanc

概述 在公有云的 GPU 机器上尝试运行 DeepSpeed 的代码。 训练解析 还是用 PyTorch 来训练的。 安装环境 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

概述 Triton 推理服务器是一种开源推理服务软件，可简化 AI 推理。Triton 使团队能够部署来自多个深度学习和机器学习框架的任何 AI 模型，包括 Tensor