2）自适应 token 压缩，结合帧内独特性和帧间独特性，以保留最具信息价值的视觉 token。此外，现有的一些 token 压缩方法受限于其实现方式，往往依赖过时的 [CLS] token 或显式的注意力权重，难以与现代 SigLIP 编码器和 Flash Attention 兼容，反而导致内存占用激增，甚至适得其反。同时，如图 4 所示，通过柱状图可视化帧独特性分数（高度和深度表示分数大小），

其中，如图 1 所示，ViT 时长在视频理解任务中占据大量时间，而现有 token 压缩方法（如 VisionZip、VidCom²）仅聚焦于上下文压缩，仅能实现 LLM 预填充加速，忽略了视频理解任务中 ViT 编码效率低下的问题。：在流式输入中，相邻帧往往高度相似（如背景静止），但传统的 Vision Transformer（ViT）依然会对每一帧进行完整的计算，造成巨大的资源浪费。表 1-3

©作者 |Recommender研究方向 |推荐排序算法前言在大多数搜广推场景中，广泛存在着各种各样的 bias。在不同的场景中，不同的 bias 造成的影响不同。比如推荐系统链路中存在的不一致性导致选择性偏差（多目标架构中的多阶段排序过程，存在于端上曝光以前），在端后影响较大的 bias 为曝光 bias、position bias 等。推荐链路又是一个闭环反馈，在...

©PaperWeekly 原创 ·作者 | 杨雨豪单位 |香港大学研究方向 |推荐系统论文题目：Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation收录会议：KDD 2022论文链接：https://arxiv.org/pdf/2207.05584.pdf代码链接：https://github...

作者｜牟善磊学校｜中国人民大学硕士生研究方向 | 推荐系统来源 |RUC AI Box推荐系统作为深度学习御三家（CV, NLP, RS）之一，一直都是学术界和工业界的热门研究 top...

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...

©PaperWeekly 原创 · 作者 | werge研究方向 | 自然语言处理Overview随着神经模型规模的不断扩大，知识蒸馏作为模型压缩的重要工具收到越来越多的关注。知识蒸馏在一般的分类交叉熵以外加入一个额外的损失项，来鼓励学生模型模仿教师模型的 soft target 输出。相较于 ground-truth 标签，前者能提供更多的概率分布信息，从而提供更多的知识给学生模型。尽管知识蒸馏

「论文共读」是由 PaperWeekly 发起的协同阅读小组。我们每周精选一篇优质好文，由学术大咖带大家解读论文并展开讨论，在碎片化时代坚持深度阅读。本期论文共读由 PaperWeekly 社区用户@WarBean 主持，他将带大家通过两篇论文聚焦半监督学习算法。论文介绍 Virtual Adversarial Training: a

否则，若 u 所依赖的 S 中顶点 v 的最短路径树（SPT）中含有不少于 k 个 Ũ 顶点，那么可以将前沿 S 缩减为这些 “枢纽点（pivot）”，且这样的枢纽点数量最多为 |Ũ| /k。为了避免优先队列中每个顶点 Θ(log n) 的时间开销，他们考虑一个前沿集 S，其中包含所有当前满足 b ≤ d^(v) < B 的顶点（这里 B 是某个上界，并且不对它们进行排序）。它的基本思路是通过

同时，分析了其在多种场景下的能力，展望了未来发展方向，旨在为研究人员提供参考，推动该领域的持续进步。相关研究如 UCSD 的 SASRec、Meta 的 HSTU、谷歌的 TIGER、快手的 OneRec、美团的 MTGR 和 UNM 等。学术研究也探索了基于 DPO (Direct Preference Optimization)、负样本增强和自回放机制的强化学习方法，以提升推荐质量，为端到端推