logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大模型学习】多模态大模型进行偏好优化

训练模型以理解并预测人类偏好是一项复杂的任务。传统方法如SFT(监督微调)通常需要较高的成本,因为这些算法需要对数据进行特定标签的标注。偏好优化(Preference Optimization)作为一种替代方案,可以简化这一过程并提供更准确的结果。通过对候选回答的对比和排序,而不是赋予固定的标签,偏好优化能够更高效地捕捉人类偏好的细微差别。虽然偏好优化已经在大语言模型中广泛使用,但现在它也可以应用

文章图片
#学习#人工智能#深度学习
【多模态融合】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

多传感器融合在自动驾驶系统中展示了其巨大优势。不同的传感器通常能提供互补的信息。例如,摄像头以透视视角捕捉信息,图像中包含丰富的语义特征,而点云则提供更多的定位和几何信息。充分利用不同传感器有助于减少不确定性,从而进行准确和鲁棒的预测。然而,由于不同模态的传感器数据在分布上的巨大差异,融合这些多模态数据一直是个挑战。当前的主流方法通常通过构建统一的鸟瞰图(BEV)表示来进行多模态特征融合,或通过查

文章图片
#transformer#3d#目标检测 +3
【多模态融合】DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection

本文贡献:(1)第一个系统研究深度特征对齐对3D多模态检测器的影响(2)提出InverseAug 和LearnableAlign 来实现深度特征级对齐,从而实现准确且稳健的3D 对象检测器;(3)DeepFusions 在 Waymo 开放数据集上实现了最先进的性能

文章图片
#3d#目标检测#人工智能
【大模型学习】利用最新版Langchain-Chatchat搭建个人知识库问答LLM

如果存在此选项,则使用它。修改配置文件,需要根据步骤2. 模型推理框架并加载模型中选用的模型推理框架与加载的模型进行模型接入配置,具体参考model_settings.yaml中的注释。默认知识库位于CHATCHAT_ROOT/data/knowledge_base,如果你想把知识库放在不同的位置,或者想连接现有的知识库,可以在这里修改对应目录即可。-i, --incremental:本地文件夹中

文章图片
#学习#pytorch#深度学习 +1
【多模态融合】IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection

3D目标检测在自动驾驶和机器人等应用中是一个关键任务。尽管点云提供了关于3D空间的宝贵几何信息,但通常缺乏详细的纹理描述且分布稀疏,特别是在远距离场景中。为了克服这些限制,近期的趋势是通过融合点云和多视角图像的信息进行多模态3D目标检测。图像模态提供了详细的纹理和密集的语义信息,补充了稀疏的点云,从而增强了3D感知能力。

文章图片
#3d#目标检测#人工智能 +2
【指标原理】CNN和ViT的FLOPs、参数量计算

FLOPs(Floating Point Operations)是浮点运算次数的缩写,其计算包括所有的浮点数加法、减法、乘法和除法运算。在深度学习领域,FLOPs特别用来量化一个神经网络模型进行一次前向传播所需的浮点运算数量,这对于评估模型的计算效率和资源需求非常有用。

文章图片
#cnn#人工智能#神经网络 +1
【模型架构】学习最火热的Mamba、Vision Mamba、MambaOut模型

状态空间模型(State Space Model, SSM)是一种用于描述动态系统的数学模型,特别适用于时间序列分析和控制系统设计。它将系统的状态表示为一个状态向量,并通过状态方程和观测方程描述系统的动态行为和观测过程。因此,SSM是可以用于描述这些状态表示并根据某些输入预测其下一个状态可能是什么的模型,这就符合了作为深度学习模型基础架构的条件。SSM的计算示意图具体来说,可以用下面的公式描述上述

文章图片
#计算机视觉#transformer#人工智能 +1
【书生大模型实战】InternVL 微调实践闯关任务

InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。对于视觉模块来说,它的特

文章图片
#人工智能#学习#python +2
【学术工具】Notion3.1.0中文汉化教程——以Mac为例,Win系统可参考

将下载好的app.zip解压,放在Resources文件夹中,下载的app.asar替换原本的app.asar。注意先关闭Notion,然后打开访达-右键Notion.app,点击显示包内容。点击Contents,进入到Resources文件夹。顶部的菜单栏没有汉化,只汉化了程序内部。打开Notion即可。

文章图片
#macos
解决YOLO v5的AttributeError: Can‘t get attribute SPPF on module models. common的问题

问题描述:在运行YOLOv5的detect.py程序时候,出现了以下错误提示AttributeError: Can‘t get attribute SPPF on module models. common from D://yolov\yolov5-5.0\models\common.py解决方法:在GitHub中下载YOLOv6,打开文件找到models文件夹:在models文件夹中找到com

#python
到底了