logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LMDeploy 量化部署进阶实践(学习笔记)

本次实践选用InternVL2-26B进行演示,其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别,仅是多出了"图片输入"这一额外步骤,但作为量化部署进阶实践,选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。随着模型变得越来越大,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。让我们回到LMDeplo

文章图片
#学习
大模型全链路开源开放体系(学习笔记)

目前国内一些大模型厂商提供了从数据、预训练、微调、部署、评测和应用,全链路的开源开放产品,为中国大模型的推广、普及和发展起着推动作用。开源InternLM2-WQX,这是一个200亿参数量的语言模型,在2024年高考中取得接近GPT-4o的成绩。开源书生·浦语灵笔(InternLM-XComposer),这是首个支持图文混合创作的大模型。发布InternLM2-Math,这是首个同时支持形式化数学

#人工智能
Lagent 自定义你的 Agent 智能体(学习笔记)

首先,我们先来创建工具文件:/root/agent_camp3/lagent/actions/magicmaker.py。接下来,我们将使用 Lagent 的 Web Demo 来体验 InternLM2.5-7B-Chat 的智能体能力。首先,我们先使用 LMDeploy 部署 InternLM2.5-7B-Chat,并启动一个 API Server。然后,我们在另一个窗口中启动 Lagent

文章图片
#学习
Datawhale X 魔搭 AI夏令营”(ComfyUI)

是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI 的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的图像生成过程。#“load”上传工作流脚本,“Queue Prompt”执行,以下使用了教程中的两个工作流脚本(kolors_example.j

文章图片
#人工智能#学习#语言模型
到底了