logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

九章推理引擎 · DeepSeek V3.2 文本版 · 自适应居中 · 可扩展终版

本文介绍了九章推理引擎DeepSeekV3.2的可扩展设计,重点阐述了其五级缓存架构和关键算法实现。该引擎采用参数矩阵集中配置,支持动态维度调整,主要特点包括: MLA压缩技术:通过低秩投影将KV缓存显存占用降低13.3倍,实现高效的注意力计算。 MoE门控机制:采用分组TopK和偏置补偿策略,确保专家选择的负载均衡。 自适应统计约束:通过递归统计量更新和柔性边界缩放,保持深层网络的数值稳定性。

#c++#c语言#算法 +3
为什么AI编程不能只看排行榜?聊聊四个主流模型的差异与分工

主流AI编程模型各有专长,不能仅凭排行榜选择单一模型。DeepSeek擅长构建代码框架,豆包适合功能细节扩展,智谱精于逻辑审查,腾讯混元则在异常处理方面表现突出。这些差异源于模型架构、训练数据和目标的不同。开发者应根据不同阶段需求匹配相应模型:架构设计用DeepSeek,功能实现选豆包,代码审查用智谱,上线加固用混元。AI模型的优劣并非绝对,而是结构性差异,合理分工才能最大化效率。

#人工智能#自然语言处理#神经网络
Fused Attention (Flash Attention v2)AI编程规则验证版

本文介绍了一个优化的FlashAttention v2实现,主要包括以下内容: 实现了高效的多头注意力机制,支持前向和反向传播 核心特性: 动态块配置,自动适配不同序列长度 支持因果掩码、ALiBi位置编码和dropout 可变长度序列处理能力 硬件资源感知的内存管理 关键技术: 采用Triton语言实现高性能内核 前向传播优化了softmax计算和内存访问 反向传播使用统一全局坐标语义 实现了&

#python#机器学习#开发语言 +2
基于DeepSeek V3.2架构的深度分析与对智能体的再思考

本文深入分析了DeepSeek V3.2智能体架构的核心特性与实现方式。该架构基于稀疏激活的动态能力调度,充分利用MoE混合专家与MLA潜在注意力机制,实现任务适配灵活性、长上下文稳定性与风格多样性。关键创新包括:原生架构能力复用、分阶段专家路由调度、多专家组交叉校验等。研究揭示了该架构在表达能力、算力利用等方面的优势,同时指出了路由偏置、长上下文衰减等固有局限。最后探讨了专家增量微调、多模态扩展

#架构#大数据#人工智能 +1
九章AI编程法,九章编译法 代码在语言中任意转换

《九章AI编程法:跨语言智能转换与芯片设计新范式》 摘要: "九章AI编程法"提出革命性的代码转换范式,通过AI实现编程语言的自由同构转换,能在5分钟内将千行代码转译为任意目标语言(从机器码到高阶语言)。该方法使开发者掌握一种语言即可借助AI生成其他语言等效代码,显著降低学习成本。更前沿的是,该技术可延伸至硬件设计领域:自动生成芯片设计方案、门控电路逻辑甚至完整电路图。文中以DeepSeek V3

操作系统矩阵化:资源状态机的形式化定义与实现

摘要:本文提出一种基于九章编程法的矩阵化操作系统框架,将传统指令流范式重构为三层确定性状态机模型。功能矩阵对内核服务进行四色分类(刚体、流态、转换层、接口层),演化框架将状态外置为池塘、操作为无状态机床、流程声明为物流计划表,控制框架通过中断等级映射驱动计划表执行。该架构在1200行C代码中实现核心功能,形式化证明其确定性、无副作用隔离和可验证性,从根本上解决传统内核状态弥散、控制流复杂和代码膨胀

#矩阵#线性代数
曲率修正与测地线优化:深度学习几何约束的理论与实践

先写过一个残差修正和减少内存占用的程序,无害,但是逻辑上不严格,原理上是对的,只是未能清楚了解事实,存在不足,仅供思考,这是原理,结合可知其意。

#深度学习#人工智能#自然语言处理 +3
32B大模型在手机上运行:不是梦想,是计算本质的回归

当我们还在为手机能流畅跑7B模型而惊喜,当行业正将“端侧14B”作为旗舰手机的核心卖点,一个更值得探索的问题浮出水面:32B参数的通用大模型,能在普通手机上完整运行吗?

#回归#数据挖掘#硬件工程 +2
九章编程法-排错法OPPO官方开源端侧大模型推理引擎核心调度模块 `llm_inference_engine.cc`

本文对OPPO和vivo的端侧AI推理引擎核心调度模块进行了专项排错分析。针对OPPO的llm_inference_engine.cc(1320行C++代码)和vivo的vai_runtime.cc(1160行C++代码),报告揭示了模块结构、函数设计、参数处理等方面的共性问题,包括全局状态管理混乱、内存调度分散、硬件适配硬编码、参数校验缺失等。两模块分别存在15处和13处历史临时补丁,涉及异常处

#开源#人工智能#linux +1
刚性反馈与流态统计:混合操作系统的数理根基

《刚性反馈与流态统计:混合操作系统的数理根基》提出了操作系统设计的革命性范式,其核心是通过刚性反馈控制与流态统计参数控制的协同机制,实现从经验性调度到数理确定性执行的转变。文章揭示了传统操作系统依赖启发式规则的局限性,指出物理世界的确定性本质为精准控制提供了基础。 刚性反馈控制建立在物理边界的确定性执行上,以基准相位刻度(1.5°)为最小单位,通过前置偏置和后置校正实现精确时序编排。流态统计参数控

#人工智能
    共 44 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择