使用AMD AI容器镜像部署ChatGLM3-6B语言模型 - Alibaba Cloud Linux

本文以聊天机器人为例，介绍如何使用Alibaba Cloud AI Containers（简称AC2）提供的AI容器镜像在AMD CPU上部署ChatGLM3-6B语言模型。

背景信息

ChatGLM3是ChatGLM系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了更强大的基础模型、更完整的功能支持和更全面的开源序列。更多信息，请参见ChatGLM3-6B的开源repo。

步骤一：创建ECS实例

前往实例创建页。
按照界面提示完成参数配置，创建一台ECS实例。
需要注意的参数如下，其他参数的配置，请参见自定义购买实例。
- 实例：ChatGLM3-6B大概需要30 GiB内存，为了保证模型运行的稳定，实例规格至少需要选择ecs.g8a.4xlarge（64 GiB内存）。
- 镜像：Alibaba Cloud Linux 3.2104 LTS 64位。
- 公网IP：选中分配公网IPv4地址，带宽计费模式选择按使用流量，带宽峰值设置为100 Mbps。以加快模型下载速度。
- 数据盘：ChatGLM3-6B的运行需要下载多个模型文件，会占用大量存储空间，为了保证模型顺利运行，建议数据盘设置为100 GiB。

步骤二：创建Docker运行环境

安装Docker。
在Alibaba Cloud Linux 3上安装Docker可以参考安装Docker并使用（Linux）。
运行以下命令，确保Docker守护进程已经启用。
```
sudo systemctl status docker
```

运行以下命令，创建并运行PyTorch AI容器。

AC2提供了丰富的AI场景下的容器镜像，其中就包括针对AMD优化的PyTorch镜像，可以使用该镜像快速创建一个PyTorch运行环境。

sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1
sudo docker run -itd --name pytorch-amd --net host -v $HOME/workspace:/workspace \
  ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1

步骤三：手动部署ChatGLM3-6B

运行以下命令，进入容器环境。
```
sudo docker exec -it -w /workspace pytorch-amd /bin/bash
```
后续命令需在容器环境中执行，如意外退出，请使用以上命令重新进入容器环境。您可以运行cat /proc/1/cgroup | grep docker命令查看当前环境是否为容器，如有回显信息则为容器环境。
运行以下命令，安装配置软件。
```
yum install -y tmux git git-lfs wget
```
运行以下命令，启用Git LFS。
下载预训练模型需要Git LFS的支持。
```
git lfs install
```
下载源码与模型。
1. 运行以下命令，创建一个tmux session。
```
tmux
```
  说明
  下载预训练模型耗时较长，且成功率受网络情况影响较大，建议在tmux session中下载，以免ECS断开连接导致下载模型中断。
2. 运行以下命令，下载ChatGLM3-6B项目源码，以及预训练模型。
```
git clone https://github.com/THUDM/ChatGLM3.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git --depth=1
```
3. 运行以下命令，查看当前目录。
```
ls -l
```
  下载完成后，当前目录显示如下。
运行以下命令，部署运行环境。
AC2容器中，集成了众多的Python AI依赖组件，可以直接使用yum或dnf安装Python运行依赖。
```
yum install -y python3-{transformers,sentencepiece,protobuf,accelerate}
```
运行AI对话。
1. 运行以下命令，修改模型加载参数。
  在项目源码中提供了终端示例脚本，可以运行ChatGLM3-6B模型实现本地聊天机器人。在运行脚本之前，需要修改模型加载参数，使用BF16精度加载，以利用CPU的AVX-512指令集进行加速。
```
cd /workspace/ChatGLM3/basic_demo
grep "import torch" cli_demo.py 2>&1 >/dev/null || sed -i "3i\import torch" cli_demo.py
sed -i 's/"auto")/"auto", torch_dtype=torch.bfloat16)/g' cli_demo.py
```
2. 运行以下命令，启动聊天机器人。
```
export MODEL_PATH="/workspace/chatglm3-6b"
python3 cli_demo.py
```
  部署完成后可以通过在用户：提示符处输入对话内容，就可以与ChatGLM3-6B大模型进行实时对话。
  说明
  您可以运行stop命令退出聊天机器人。