本文适用于利用langchain搭建api function call

根据github程序
langchain-Chatchat

Bug记录

	if len(chunk["choices"]) == 0:
TypeError: object of type 'NoneType' has no len()

显存爆了，别放俩模型一张卡里
多卡如果要在启动函数里改参数：args.gpus=“0,1,2,3,xxxx”,
args.num_gpus= 4,
args.max_gpu_memory=“16GiB”

启动流程

1. git clone xxx && cd xxx
2. pip install -r xxx.txt
3. hugging face 下载对应模型
（1）embedding模型
（2）LLMs
4. 更改configs/model_config.py.example里
（1）embedding模型，如果不改则不需要改代码，改的话就要把读取代码一起改掉，具体的就要改掉之后等报错代码，在init_database函数里进行修改，建议用原模型，改起来很麻烦
（2）LLMs，更改model列表里的模型，写你本地或者api需要的模型（例如"mymodel"）。
然后在下面的路径json里定义你模型的绝对路径或者api设置。
{
…,
…,
“mymodel”:“your/path/”
}
5. python copy_config_example.py
python init_database.py --recreate-vs
6 以后执行只需执行此行命令 python startup.py -a

Api创建