logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零训练一个多模态LLM:预训练+指令微调+融合多模态

本文尝试梳理。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。目前主要有三种模型架构,基于Transformer解码器,基于General Language Model,以及混合专家模型。这一步可以直接选择开源的的基座模型,例如基于Transformer解码器架构的LLaMA模型族,模型结构及一些重要参数如下图。假设选择LLaMA-65B,Tokeniz

文章图片
#人工智能#语言模型#机器学习 +2
终于有人把多模态大模型讲这么详细了

多模态大型语言模型(Multimodal Large Language Models, MLLM)的出现是建立在大型语言模型(Large Language Models, LLM)和大型视觉模型(Large Vision Models, LVM)领域不断突破的基础上的。这里给大家总结了多模态大模型的结构,训练,评估方法以及幻觉问题的解决办法,通俗易懂!!

文章图片
#学习#人工智能#架构 +2
使用持续学习改进多模态大型语言模型

LoRA(低秩适配)LoRA是一种在保持原始语言模型权重不变的情况下,通过学习低秩更新来适应新任务的方法。这种方式能够在多模态模型中引入新知识,同时减轻语言遗忘的现象。· 软目标软目标技术通过对训练标签进行平滑处理,降低目标分布的偏差,以减轻模型在新任务训练中的性能下降。这种方法使得模型在学习新任务时能更好地保留之前任务的知识,从而有效减少语言遗忘。· 重演(经验重演)重演方法涉及在学习新任务时,

文章图片
#学习#语言模型#人工智能 +2
35岁程序员转行大模型:如何把握行业机遇与个人发展

对于一位35岁的程序员想要转行到大模型领域,这是一个很好的时机,因为人工智能和大模型技术正在快速发展,并且有着广泛的应用前景。基础知识学习数学基础:线性代数、概率论、统计学、微积分等。编程基础:熟练掌握Python编程语言,因为它是在大模型开发中最常用的编程语言。机器学习基础:了解监督学习、非监督学习、强化学习等基本概念。深度学习基础:熟悉神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、

文章图片
#人工智能#深度学习#机器学习 +4
大模型落地应用:难点与破局

大模型太多、应用却太少,大模型要跑起来、更要用起来……怎样走好大模型落地应用“最后一公里”,成为近期业内外探讨的焦点。“百模大战”打响,并非言过其实。目前,通过国家网信办备案的大模型已达190多个,注册用户超6亿。今年来,各家大模型全面降价,甚至一降到底免费调用。“不要去卷模型了,卷应用吧”,某知名企业多次表达这一观点,映射出大模型赛道竞争已进入卷生态、拼“获客”新阶段。从百花齐放到场景落地,大模

文章图片
#人工智能#语言模型#学习 +1
基于大模型的知识助手:7家头部企业“大模型+知识管理”落地实践

知识,作为企业最宝贵的资产之一,其有效管理和应用成为企业提升竞争力的关键。然而,传统的知识管理系统往往存在信息孤岛、检索效率低下、知识更新滞后等问题,难以满足企业快速响应市场变化的需求。基于大模型的知识助手应运而生,它以其强大的语义理解和数据处理能力,正在成为企业知识管理的最佳解决路径,有效打通了企业知识应用的“最后一公里”,为企业知识管理带来了革命性的变革。基于大模型的知识助手不仅能够自动整合企

文章图片
#数据库#人工智能#学习 +3
湖南钢铁携手移动、华为,发布首个钢铁行业人工智能大模型

一说起高炉皮带,华为矿山军团高级架构师彭丹侃侃而谈。谁能想到,一年前,和他一起来到湘钢的“码农”们,还是钢铁行业的门外汉。与此同时,湘钢的工长们感到疑惑:大模型看不见也摸不着,到底能带来什么?钢铁行业生产流程长、工艺复杂,如何打通大模型落地的“最后一公里”?钢铁大模型项目启动后,华为20多名架构师一头扎进湘钢各个车间。“天天与工长们‘泡’在一起,针对每一道工序,进行需求分析和方案设计。”彭丹说。在

文章图片
#华为#人工智能#搜索引擎
AI Agent从入门到精通:企业级智能代理系统的技术选型与落地

文章深入解析了AI Agent作为新一代AI系统的核心价值,它具备自主规划、主动执行和动态调度资源的能力,能够解决企业数字化转型的"最后一公里"困境。文章详细介绍了AI Agent的技术原理、架构设计、实战案例,并分析了落地挑战与解决方案。通过车险理赔自动化等案例,展示了AI Agent如何实现从"被动响应"到"主动执行"的转变,帮助企业降低技术门槛和成本。文章强调,AI Agent的成功落地70

文章图片
#人工智能#AI
大模型技术进阶路线,有了基础应该怎么进阶?

高性能大模型的打造,是一项复杂的系统性工程一个好的基础能够让你在学习的道路上事半功倍,但绝对不是学习的终点,大模型技术也不外如是。大模型的进阶学习路线那么怎么才能打造一款能够在企业生产中使用的大模型呢?而这就属于大模型技术的进阶;如果说大模型的基础是能够做出来一个大模型,那么大模型的进阶就是怎么把大模型做的更好。下面也将从几个方面介绍一下大模型的进阶:‍‍‍‍‍‍‍模型优化硬件加速分布式并行计算‍

文章图片
#人工智能#学习#开源 +2
AI大模型深度解析:技术原理、社会变革与未来五大趋势,建议收藏

AI大模型正重塑社会与工作模式,打破技能壁垒,助力普通人成为“超级个体”。技术演进正从“堆算力”转向算法优化与多模态进化。未来五大趋势包括:推理算力指数级爆发、后训练接棒预训练、世界模型落地、中国AI确立全球地位及人机对齐与安全监管。本文深度解析原理与格局,助你抢占AI时代先机。

文章图片
#人工智能#机器学习#深度学习 +2
    共 640 条
  • 1
  • 2
  • 3
  • 64
  • 请选择