logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

书生大模型关卡任务-LMDeploy 量化部署实践闯关任务

关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后,模型会将函数的输出结果作为回答用户问题的依据。相比使用BF16精度的kv cache,int4的Cache可以在相同显存下只需要4位来存储一个数值,而BF16需要16位。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的cond

文章图片
#visual studio code#python#linux +1
书生大模型关卡任务-InternLM + LlamaIndex RAG 实践

正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断,此处我们可以从国内仓库镜像地址下载相关资源,保存到服务器上。:(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,同学们可以自由尝试别的开源词向量模型) 运行以下指令,新建一个python文件。#创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。

文章图片
#visual studio code#python#linux
书生大模型关卡任务-InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。对于视觉模块来说,它的特

文章图片
#人工智能#visual studio code#python +3
书生大模型关卡任务-InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。对于视觉模块来说,它的特

文章图片
#人工智能#visual studio code#python +3
书生大模型关卡任务-Lagent 自定义你的 Agent 智能体

Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法;或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰;工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。首先,我们先来创建工具文件:然后,我们将下面的代码复制进入'dongman',# 动漫'guofe

文章图片
#python#linux#visual studio code +2
到底了