logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大语言模型基本概念(学习笔记)

大语言模型是这个新模式的典型例子,使用统一的大模型可以极大地提高研发效率,相比于分散的模型开发方式,这是一项本质上的进步。大型模型不仅可以缩短每个具体应用的开发周期,减少所需人力投入,也可以基于大模型的推理、常识和写作能力,获得更好的应用效果。与此同时,研究人员发现,随着语言模型规模的扩大(增加模型大小或使用更多数据),模型展现出了一些惊人的能力,通常在各种任务中表现显著提升。具体来说,涌现能力可

文章图片
#语言模型#学习
书生·浦语全链条开源开放体系(第四课笔记)

在LLM的下游应用中主要使用的微调方式是增量预训练和指令跟随1.增量预训练微调是将新领域的文本内容喂给大模型2.指令跟随微调则是根据一些对话模版进行微调两种常见的微调主要介绍了XTuner工具的一些重要功能,如何通过已有的训练配置文件来自定义训练配置。还有一些XTuner的基础命令。

文章图片
书生·浦语全链条开源开放体系(第五课笔记)

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事(需截图)进阶作业(可选做)将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。

文章图片
书生·浦语全链条开源开放体系(第二课笔记)

介绍了InternLM预训练模型和基于书生·浦语大语言模型开发的视觉·语言大模型。还有可将大模型部署为智能体的lagent框架。本节课的demo也是围绕智能体和图文创作展开的。首先介绍了什么是大模型——人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型,简单来说就是“大”。第二节课主要介绍了InternLM大模型和一些大模型的趣味Demo。3.模型在各种任务中展现出惊人的性能,也可以说是

文章图片
到底了