简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
一般我们称做过预训练,或预训练结合通用数据进行了微调的模型叫做**base模型**。这类模型没有更专业的知识,回答的答案也可能答非所问或者有重复输出,但已经具备了很多知识,因此需要进行额外训练才能使用。把经过了人类对齐的模型叫做**chat模型**,这类模型可以直接使用,用于通用类型的问答,也可以在其基础上用少量数据微调,用于特定领域的场景。
一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。受的项目和创建的启发,建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于langchain框架支持通过基于FastAPI提供的
do_sample:布尔类型。是否使用随机采样方式运行推理,如果设置为False,则使用beam_search方式temperature:大于等于零的浮点数。qifracexpziTsumjexpzjTqifracexpziTsumjexpzjT从公式可以看出,如果T取值为0,则效果类似argmax,此时推理几乎没有随机性;取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]
提示: 因为自我认知训练涉及到知识编辑, 建议对**MLP**加lora\_target\_modules. 你可以通过指定`--lora_target_modules ALL`在所有的linear层(包括qkvo以及mlp)加lora. 这**通常是效果最好的**.