logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLM 大模型学习必知必会系列(四):LLM训练理论篇以及Transformer结构模型详解

一般我们称做过预训练,或预训练结合通用数据进行了微调的模型叫做**base模型**。这类模型没有更专业的知识,回答的答案也可能答非所问或者有重复输出,但已经具备了很多知识,因此需要进行额外训练才能使用。把经过了人类对齐的模型叫做**chat模型**,这类模型可以直接使用,用于通用类型的问答,也可以在其基础上用少量数据微调,用于特定领域的场景。

文章图片
#学习#transformer#深度学习 +2
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)

一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。受的项目和创建的启发,建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于langchain框架支持通过基于FastAPI提供的

文章图片
#人工智能#机器学习#深度学习 +1
LLM 大模型学习必知必会系列(六):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化

do_sample:布尔类型。是否使用随机采样方式运行推理,如果设置为False,则使用beam_search方式temperature:大于等于零的浮点数。qifracexpziTsumjexpzjTqifracexpziTsumjexpzjT从公式可以看出,如果T取值为0,则效果类似argmax,此时推理几乎没有随机性;取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]

文章图片
#学习#人工智能#语言模型
LLM 大模型学习必知必会系列(五):10分钟微调专属于自己的大模型

提示: 因为自我认知训练涉及到知识编辑, 建议对**MLP**加lora\_target\_modules. 你可以通过指定`--lora_target_modules ALL`在所有的linear层(包括qkvo以及mlp)加lora. 这**通常是效果最好的**.

#学习#语言模型#人工智能
到底了