全网最全｜ChatGLM2-6B 部署（利用autodl GPU算力）

2024 年 8 月 12 日 8点热度 0人点赞 0条评论

硬件准备

申请阿里云GPU免费
或者自己在autoDL买GPU，挺便宜，建议租一张RTX 3090 24G够用啦
具体占用的GPU 大小

部署chatglm2-6B

chatglm2 一共有6B 13B 两个参数量的模型，当然13B能力会更强一些，但考虑到我们的消费级显卡限制，学习使用6B够用啦
放出模型参数、模型代码文件如下（需要科学上网可能）
chatGLM-6B的Github地址：https://github.com/THUDM/ChatGLM-6B
chatGLM-6B的模型地址：https://huggingface.co/THUDM/chatglm-6b
如果不服🫤的想从huggingface下载的，可以这样做
更新git 、安装lfs，用来load大文件的一个工具

apt-get updata
apt-get install git-lfs 
git init
git lfs install 
#下载glm2 代码、和模型文件
#连接不稳定，可能需要多clone几次，或者直接本机download然后上传（ps 还是自己upload万无一失）
git clone https://github.com/THUDM/ChatGLM-6B
#model文件最好像我这样放置，好找一些～
cd ChatGLM-6B
mkdir model
cd model
git clone https://huggingface.co/THUDM/chatglm2-6b

反正我下了好几次才work！ 2333～

python conda 配置虚拟环境（配置服务器运行环境，防止包的重估）
方式一：https://github.com/THUDM/ChatGLM2-6B/tree/main
参考官方github配置过程、安装虚拟环境依赖
方式二：

conda create -n 名字 -python=3.10
conda activate 名字
pip install -r 依赖文件.txt -i 这里可以加一个清华源的url 加速下载

注意：如果在windos安装这里的torch安装比较特殊，自动装的torch和这里的文件名不一样，少了cu118，pypi默认下载的是cpu版本的torch，不支持cuda，我们用wheel文件安装，
懒人包：百度：https://pan.baidu.com/s/1mxM-tdTiNxRGBzHzI7rlcw?pwd=plz9
提取码：plz9
（谁家好人用window233 ，linux）
一定要新一点点python版本！比如3.10 不如install依赖容易出问题卡

修改模型配置
简单来说，就是让原先的代码知道现在模型参数文件放在哪里了？
修改模型路径两处，建议用绝对路径！！！！

这里用gradio开发的web_demo.py的可视化界面，使用前我们可以设置share=True可以生成公网访问url、也可以配置端口（但是，我配了也没生成，气死）直接做个ssh内网穿透，省的麻烦，不过要注意gradio的运行端口，和你租的服务器有没有开放这个port！