SpQR是一种新型大语言模型压缩技术，通过稀疏量化表示实现近无损压缩。该方法识别对量化敏感的异常权重，将其以高精度（16位）存储，同时将其他权重压缩到3-4位。理论分析表明权重敏感性呈现结构化模式（如行/列异常值、敏感注意力头等）。SpQR采用双层量化方案，极小组（8-32权重）共享量化参数，并通过二次量化压缩统计信息。实验显示，SpQR在4.6-4.7比特/参数下保持误差低于1%，显著优于GPT

本文提出了一种面向能效和低延迟的智能家居语音控制方案，通过离线语音识别和物联网集成解决当前云端架构的缺陷。研究分析了现有系统的能耗模型，指出云端处理导致的高延迟（100-500ms）和能源浪费（一次简单命令消耗815W·s）。基于深度可分离卷积神经网络(DS-CNN)和8位量化技术，开发了计算量减少88.5%的轻量级关键词识别算法。系统采用四层架构设计，通过分层抽象和本地处理实现能效提升98%。实

摘要： 本文针对FMCW雷达系统中互扰/串扰导致的信号污染问题，提出基于矩阵铅笔法(MP)的干扰抑制方法。核心思想是将受干扰时段的缺失数据重建问题转化为复指数模型参数估计，通过MP算法从干净数据中估计极点{z_i}和系数{a_i}，并引入迭代融合机制优化补全效果。理论分析表明，FMCW的dechirp处理使目标信号呈现固定频率复指数和特性，而干扰信号表现为时变chirp-like结构。实验验证该方

本文探讨了边缘大型AI模型（边缘LAM）在物联网中的协作部署与应用。传统云服务器部署存在高延迟urgent和隐私风险问题，边缘LAM通过分布式训练和推理优化解决了这些挑战。研究提出联邦微调（FedFT）框架，采用低秩适配（LoivelyRA）技术显著减少通信开销，并结合知识蒸馏应对数据异构性。同时设计了基于专家混合（MoE）和思维链（CoT）的微服务框架，优化边缘资源利用率。这些创新方法实现了低延

SmoothQuant：大型语言模型的高效后训练量化方法 本研究提出SmoothQuant方法，解决大型语言模型(LLMs)量化中的激活值异常值问题。通过分析发现，LLMs激活值中存在系统性异常值，导致传统量化方法失效。SmoothQuant创新性地将量化难度从激活值迁移到权重，利用通道级平滑因子调整两者的比例关系。数学上通过$Y = (X\text{diag}(s)^{-1}) \cdot (\

EdgeShard提出了一种基于协作边缘计算的高效大语言模型(LLM)推理框架。该方案通过将LLM模型分片部署在多个边缘设备上，采用动态规划和流水线并行策略优化推理延迟与吞吐量。系统包含三个阶段：分析阶段收集模型和设备信息，调度阶段生成最优部署策略，协作推理阶段通过顺序或流水线并行执行。实验表明，相比传统边缘计算和云边协作方案，EdgeShard能在保证隐私的同时显著提升推理效率，降低50%以上的

本文探讨了信号处理与深度学习的关系，指出二者在技术链条上是上下游关系，思维方式上都涉及变换、处理不确定性和优化问题，并能互为工具。作者认为信号处理为深度学习提供先验知识，而深度学习为信号处理带来新方法。文章总结了一年写作内容涵盖的信号处理基础、雷达应用、深度学习理论和嵌入式AI四个领域，并提出了AI与传统方法融合程度的未解问题。作者最终认为这两者是互补的工具集，底层逻辑相通，打通两者将拓展更多可能

本文系统解析了NLP参数高效迁移学习中的Adapter方法。该方法通过在Transformer层中插入少量可训练参数（仅占原模型3.6%），实现了接近全微调的性能（99.5%）。关键创新包括：1）瓶颈架构设计，将高维特征压缩到低维空间；2）近恒等初始化策略，确保训练稳定性；3）模块化插入方式，在注意力层和前馈层后双重集成。实验表明，Adapter在GLUE等任务上显著优于传统微调方法，参数效率提升

Stable Video Diffusion (SVD) 是Stability AI团队开发的创新性视频生成模型，通过系统化的数据筛选策略和三阶段训练流程，显著提升了文本到视频和图像到视频的生成质量。该研究首次揭示了预训练数据质量对最终模型性能的持续影响，具有重要的方法论意义。论文采用连续时间扩散模型框架和EDM预条件技术，开发了包括级联切分检测、运动评估、文本过滤等在内的多层级数据筛选方法。三阶

本文探讨了边缘计算环境下实现通用智能的新范式——多大语言模型（Multi-LLM）系统。传统边缘AI依赖专用窄域模型，存在任务单一、泛化不足等局限。而大语言模型展现出类人智能的通用能力，但其边缘部署面临计算资源、能耗等挑战。研究提出通过多LLM协作架构，结合合作、竞争和集成三种机制，形成优势互补。数学建模显示，该系统能分解任务、优化响应质量，并通过博弈论框架减少偏见和幻觉。实验证明，Multi-L