模型有可能生成它们（前提是训练数据里学过这些 token 的用法）。为新 token 初始化 embedding（随机 or 其他策略）同步扩展输入 embedding 和输出 embedding (确保新 token 的 embedding 参与训练 (模型扩展 embedding 矩阵。会作为正常词表的一部分参与预测。复制旧 embedding 权重。返回实际新增 token 数量。用，不会自

从批量样本中取出对话字段。texts = [convo,tokenize = False, # 直接生成字符串，不做 token 化add_generation_prompt = False # 不在最后额外加 Assistant 的起始符'''每条 convo 都是一个 list：tokenizer.apply_chat_template(...)把这轮对话按照 gemma-3 的 chat 格

摘要：本文探讨自回归语言模型生成文本向量的方法，指出传统mean-pooling和last-token策略的局限性。为解决这些问题，作者提出Echo Embedding方法，通过在prompt中重复输入文本，使第二次出现的token能获取完整上下文信息，从而生成更稳健的文本向量。该方法相较于特殊标记（如[EOS]）或PromptEOL等现有方案更具优势，实验验证了其有效性。（149字）

—>为同时解决效率与有效性难题，提出一种新颖方法：使用图像替代冗长文本描述，以图像表达商品，降低 token 占用，同时保留丰富语义信息。利用精心设计的提示词，让 LLM 能通过少量 token 理解图像语义，实现高效捕捉用户偏好。图 1(a) 显示：同一用户的交互序列，在不同表示方式下，输入 token 长度差异显著。——>提供更丰富（更长）表示可提升推荐效果，但不可避免地降低效率。：由于依赖图

这一挑战的根本原因在于，利用显式的保留数据或参考模型中隐含的保留知识来微调模型，往往会模糊“应被遗忘”与“应被保留”数据之间的界限，因为不同的查询可能引发相似的响应。所定义的f-散度的变分形式从理论上提供了一种调整损失的方式，即通过对模板响应的学习与对应被遗忘响应的忘记赋予不同的权重。实验结果表明，我们的方法不仅在遗忘性能方面优于现有方法，同时还能最小化对模型保留能力的影响，在多个任务上保持较高的

本文提出REMEDY框架解决大型视觉语言模型(LVLM)的模型合并难题。针对LVLM规模庞大和视觉语言任务异质性两大挑战，REMEDY首先识别可复用模块(如投影器和LLM浅层)构建"recipes"，实验证明其能有效增强视觉感知和图文交互能力；然后设计模态感知分配器，通过少量示例动态判断输入与recipes的相关性，实现一次性权重分配的跨任务知识整合。该框架突破了传统视觉模型合

假设模型最终生成了四个token可以发现重复地计算，但其实只计算一次就行了——>把每一步（计算记为一步）计算的KV缓存起来。

本文提出CityAnchor方法，用于城市级点云中的三维视觉指定位。针对现有方法难以处理大规模点云的局限，该方法采用两阶段策略：先通过LLM模型在二维地图上粗定位候选区域，再在这些区域进行细粒度匹配。在CityRefer和新建数据集上的实验验证了该方法的准确性和可扩展性，解决了城市级点云视觉定位的挑战。

2022 Neurips

本文系统研究了大型语言模型(LLMs)在时间序列异常检测中的能力，提出并验证了7个关键假设。研究发现：1)思维链推理对LLMs理解时间序列无益；2)LLMs识别周期性异常的能力与重复偏差无关；3)算术能力不影响异常检测性能；4)视觉模态表现优于文本模态；5)LLMs不受人类视觉感知局限；6)处理长序列时性能下降；7)不同模型架构表现差异显著。实验采用4种多模态LLM，结果表明异常检测能力高度依赖模