logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零到一 | CV转多模态大模型 | week18 | Hugging Face风格转换,多模态大模型部署发版

本文总结了第16周训练的多模态大语言模型(MLLM)的整理与部署工作。原模型仅保存了project和LoRA参数,image encoder和LLM仍需加载官方权重,导致部署维护困难。本周通过将LoRA合并到基础LLM中,统一保存为Hugging Face标准格式model.safetensors,便于使用transformers库加载和vLLM服务部署。文章提供了模型转换脚本、配置定义及处理代码

#人工智能#机器学习#改行学it +2
从零到一 | CV转多模态大模型 | week19 | 基于 FastAPI 和 vLLM 的多模态大模型部署

本文介绍了一个基于FastAPI和vLLM的多模态HTTP服务架构设计。服务采用分层设计:FastAPI负责业务逻辑(图片上传、限流、日志等),vLLM专注模型推理。主要特点包括:1) 通过请求队列控制并发;2) IP级限流;3) 图片预处理;4) 业务与模型解耦,支持独立扩展。服务提供/chat接口接收图片和问题,返回模型响应,并支持通过环境变量配置各项参数。这种分层架构提高了系统的可维护性和扩

#fastapi#人工智能#计算机视觉 +2
从机械转行互联网CV后,我决定再转多模态大模型

摘要: 一位机械专业转行计算机视觉的工程师,正在系统性地转向多模态大模型方向。他创建了GitHub仓库"From0to1-MLLM-StudyLog",每周记录学习内容(包括LLM基础、多模态框架、项目实践及部署技术),分享学习资源和实践心得。该仓库特别适合非科班出身、想转型大模型的学习者参考。作者鼓励同行者一起学习,通过持续记录实现渐进式转型。仓库地址:https://git

#人工智能#深度学习#改行学it
从零到一 | CV转多模态大模型 | week01 |环境搭建 & Transformers 入门

本文介绍了Transformer环境搭建与入门指南,包括文档手册获取、Hugging Face注册及模型下载方法。详细讲解了模型调参技巧,如max_new_tokens、top_p和temperature的设置原则与应用场景对比。最后分享了作者的多模态大模型学习日志GitHub仓库(From0to1-MLLM-StudyLog),包含从机械专业转型的实践经验、每周学习记录和部署demo,旨在为同样

#深度学习#机器学习#计算机视觉 +2
从零到一 | CV转多模态大模型 | week03 |多模态概览 + 跑通一个 LLaVA Demo

这些模态编码器为MM-LLMs提供了处理和理解多种类型数据的能力,使得模型能够在多模态任务中有效地整合和利用来自不同源的信息。通过这些编码器,MM-LLMs能够更好地理解和生成与图像、视频、音频和3D数据相关的自然语言描述。这些输入投影器的设计旨在提高模型对多模态输入的理解能力,使得MM-LLMs能够在处理图像、视频、音频等非文本数据时,与文本数据进行有效的交互。通过这些投影器,模型能够将不同模态

文章图片
#计算机视觉#深度学习#人工智能 +1
从零到一 | CV转多模态大模型 | week02 | SFT + LoRA / QLoRA 入门

本文介绍了参数高效微调(PEFT)的几种主流方法,包括LoRA、Prefix Tuning、P-Tuning、Prompt Tuning和IA³。LoRA通过低秩矩阵对线性层进行增量更新,Prefix Tuning在每层attention注入可学习前缀,P-Tuning在输入层或各层添加软提示,Prompt Tuning仅在输入层加入可学习向量,IA³则通过缩放因子调节中间激活。这些方法都能在不改

#深度学习#改行学it#人工智能
从零到一 | CV转多模态大模型 | week06 | Clip Blip web demo

第六周结束,CLIP和BLIP系列模型告一段落,完成CLIP、BLIP、BLIP2、LORA原理、多模态SFT,Attention逐行拆解,qformer拆解,CLIP、BLIP、BLIP2的实现和微调。输出一个图像captain和文搜图的小demo。源码已更新:https://github.com/wz940216/From0to1-MLLM-StudyLog/

文章图片
#计算机视觉#深度学习#人工智能 +2
从零到一 | CV转多模态大模型 | week07 | Minillava Design从零搭建一个MiniLlava

本篇是minillava系列的起始篇,week07开始将从零搭建一个mini的llava模型,本周我们先设计minillava的模型框架,下载必要的微调数据集,串好数据流,验证forward功能。并将参数配置到config.yaml中。

#人工智能#深度学习#计算机视觉
    共 54 条
  • 1
  • 2
  • 3
  • 6
  • 请选择