实例创建

1.先进入官网https://doc.damodel.com
进行注册,新用户可以免费送代金券,实名注册后一共可以得到50块钱,现在4090还搞活动,1.5左右一个钟。

2.创建后进入DAMODEL控制台创建实例:
如下:
在这里插入图片描述
这里创建实例,还需要创建密钥对,这个很简单,直接创建并保存在本地主机即可,然后再选这个密钥对就好。
如下:
在这里插入图片描述
接着就等待一小会就可以看到新建好的实例了。

ChatGLM-6B-部署

官方教程

官方教程其实也十分详细,下面贴出链接:
https://doc.damodel.com/profile/best_practice/ChatGLM-6B/cglm6b.html

个人教程与实际操作

下载ChatGLM-6B代码
  1. 在命令行里直接git:
    git clone https://gitcode.com/applib/ChatGLM-6B.git

  2. cd 进入ChatGLM-6B

  3. pip install -r requirements.txt 装这个demo所需要的一些配置
    如下图:
    在这里插入图片描述

下载ChatGLM-6B模型

这里是我和官方教程不一样的地方,我选了魔塔社区的下载教程,并且全部下载了模型和一些文件。
官方教程是先下载到本地,然后再上传到服务器。
我是直接下载到云服务器。

我这里是先:

  1. pip install modelscope
  2. 新建一个python文件,代码如下:
    #模型下载
    from modelscope import snapshot_download
    model_dir = snapshot_download(‘ZhipuAI/chatglm3-6b’)
  3. 查看模型文件路径
    /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b
    如下图所示:
    在这里插入图片描述
调用ChatGLM-6B模型
  1. 首先修改cli_demo.py中的模型路径
    cli_demo.py中有俩行代码如下:
    tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True)
    model = AutoModel.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True).half().cuda()

需要修改为:
tokenizer = AutoTokenizer.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True)
model = AutoModel.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True).half().cuda()

  1. 在终端直接调用pythoncli_demo.py

如下图:
在这里插入图片描述

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐