logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DeepSeek最新研究进展:从MoE架构到多模态突破

摘要: DeepSeek作为中国领先的AI研究团队,在大型语言模型和多模态领域取得显著突破。其核心成果包括:DeepSeek-V2(236B参数MoE架构,首创MLA注意力机制)、DeepSeek-V3(671B参数,FP8高效训练,多基准超越GPT-4)、DeepSeek-R1(强化学习驱动的推理能力跃升)及DeepSeek-Coder系列(代码生成优化)。多模态方向推出Janus系列,解耦视觉

#语言模型#自然语言处理#DeepSeek
GLM 模型结构分析:从双向注意力到自回归填空

GLM是一种融合BERT和GPT优势的通用语言模型框架,采用"双向编码器+自回归解码器"的混合架构。其核心创新在于自回归填空预训练范式,通过统一的二维注意力掩码设计,同时支持文本理解和生成任务。模型使用两套位置编码(全局和块内),并采用分组查询注意力等优化技术提升性能。相比传统单向或双向模型,GLM在保持生成能力的同时增强了上下文理解,支持长序列处理,并可通过MoE结构扩展规模

#人工智能#算法
DeepSeek V3 版本模型结构分析

多头潜在注意力(MLA):用低维潜在向量压缩 KV 缓存,大幅降低显存占用。:细粒度路由专家 + 共享专家组合,以少量激活参数承载海量总参数。多 Token 预测(MTP):一举两得,既增强了训练信号,又天然支撑投机解码加速推理。YaRN 位置编码、SwiGLU/RMSNorm 等成熟组件:保证了长上下文扩展和训练稳定性。从结构层面看,DeepSeek V3 并非简单地堆叠参数,而是通过注意力压缩

#DeepSeek#算法
2025-2026 具身智能最新研究进展:从感知到行动的全面突破

《具身智能技术进展与未来趋势》 摘要:具身智能领域在2025年后迎来爆发式发展,核心驱动力来自视觉-语言-动作(VLA)大模型的突破,其参数量已达百亿级,实现了感知、推理与执行的端到端整合。技术进步体现在三大方面:1)数据获取革新,开源数据集如OpenX-Embodiment覆盖1600多项技能,仿真平台实现85%以上的Sim-to-Real迁移成功率;2)操作能力跃升,触觉感知与扩散策略使机器人

#机器人
ResNet101网络结构

来源于官方函数,input_shape=[160,160,3],classes=16Layer (type)Output ShapeParam #Connected to========================================================...

#keras
基于音频分类的视频内容推荐

哈喽大家好,上面几篇做法是提取的对数mel谱然后用VGG做embedding特征,是否靠谱不得而知,但效果很差是明显的,寡人猜测原因:1.VGG训练的数据很短,很干净,没有其他杂音;2.其他细节问题,比如参数的微调;3.其他特征??很多人骂我不分享代码,其实都是基础的东西,没有啥技术含量,这里分享下python一个版本stft【np中当然有直接的函数,这个版本也有依赖】。今天下午我有搜索下“音..

迁移学习真的有用???

哈喽,大家好,你们深爱的小明哥又来了。emm,前提是这样的,这次接着写,克服了原来模型path的问题。但迁移学习真的有用吗?我表示怀疑,如图:这特么也是神操作,6得一批。acc越来越小。。。。。。。。。。。。。。。。如此下去,最后是0,老子也是开了眼,哪里有问题吗??ResNet也是个坑爹的玩意。【我放弃了不再等到100了,这样训练20%一大关Epoch 0004...

#迁移学习#keras
视频分类4

鉴于上次分类结果不容乐观,故而本次增加了0视频,此次测试结果如下:一、实际是0视频,误判帧率,共200多个完整短视频视频[未切分]The total frames number=1474,error rate =0.0000The total frames number=1315,error rate =0.0274The total frames number=1472,erro...

语音深度学习落地中存在的困难和壁垒

各位大佬好!深度学习在语音方面的应用远比图像要少很多,除了众所周知的语音识别【ASR,Speech and Speaker】与语音合成【TTS】,似乎再也没有什么深度学习方面的应用了,其实这个问题很明显,本大佬从头说起,从某大佬开源图像数据集开始,语音还在数据的封闭阶段,一般人和单位根本拿不到数据,而当图像如火如荼的时候,火得不能再火的时候,语音方面的砖家才意识到革命必将来临,再不面对将失...

#深度学习
怎么知道安卓中的变量值啊?或者如何调试啊?

在RUN中找到debug,但发现没什么用,不能像VS中那样断点检测,卧槽。安卓咋打断点啊?看了几篇博文和我的都不一样,我的版本是3.5的,没有人家说的那个位置的圆点,另外还有说左键什么的根本也不行,右键结果如下:左键如下:你告诉我怎么打个断点吧,给你看看功能栏另外有相关问题可以加入QQ群讨论,不设微信群QQ群:868373192语音深度学习群...

到底了