dsw试用

领取试用

点开连接，搜索dsw
连接：link

点击立即试用

创建实例

领取试用完成后，创建实例


这里注意选gpu支持资源包抵扣的规格，试用时候从试用额度扣费。

使用镜像我选择的是pytorch2.1+cu118+py3.11的镜像


创建完成后，资源准备和启动需要等待一段时间。

部署langchain-chatchat

安装依赖

#拉取仓库
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt 
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt 

出现依赖冲突可以忽略，没有影响。

下载模型

该项目用的模型为huggingface的chatglm3-6b和bge-large-zh，huggingface地址国内在线无法访问，选择使用魔塔社区的模型库。

#下载git-lfs,用于克隆模型
apt-get update
apt-get install git-lfs
git init
git lfs install

#下载模型，模型很大，下载时间较长
#下载chatglm3-6b模型
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
#下载bge-large-zh模型
 git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

初始化知识库

#配置文件重命名
$ python copy_config_example.py
#初始化知识库
$ python init_database.py --recreate-vs

报错提示：
TypeError: loop of ufunc does not support argument 0 of type NoneType which has no callable conjugate method

报错的原因是无法在线下载模型，解决方法是把刚才下载的模型所在路径配置到配置文件中，从本地加载模型。编辑configs目录下的model_config.py文件，修改模型路径，保存完成后，重新执行初始化知识库

一键启动

$ python startup.py -a

报错提示：
RuntimeError: The NVIDIA driver on your system is too old (found version 11080). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver.

报错的原因是pytorch版本和cuda版本不匹配，查看pytorch版本和cuda版本

cuda版本为11.8，pytorch匹配的cuda版本为12.1，可能是镜像有问题，解决方法是卸载pytorch。安装正确的版本，重新启动

pip uninstall torch
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118

点击链接，可通过阿里云账号内网访问服务。