星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |江城编 | 夕小瑶今天分享一篇淘宝发表在 SIGIR2020上的关于知识图谱应用于大规模推荐的论文《ATBRG: A...

文：Sherry今天给大家带来的是一篇号称可以自动建立知识图谱的文章《Language Models are Open Knowledge Graphs》，文中提出了一个叫Match a...

此外，APAR在生成过程中减少了键值缓存的消耗和注意力计算，这导致在高吞吐量场景中，与最先进的服务框架相比，吞吐量增加了20-70%，延迟减少了20-35%。此外，APAR减少了生成过程中的KV缓存消耗和注意力计算，导致在高吞吐量场景中，与最先进的服务框架相比，吞吐量增加了20-70%，延迟减少了20-35%。此外，APAR减少了参与注意力计算的令牌数量，使用相同数量的KV缓存内存时，与原始AR过

文 | ZenMoore前言相信每个 NLPer 心中都有对 Reasoning 的一片期冀。当初笔者进入 NLP 的大门，就是相信：由于语言强大的表达能力以及语言模型强大的建模能力，Reasoning 一定就在不久的将来！可惜实际情况却是......[流泪]直到我看到了 Yoshua Bengio 最近反复强调的 System 2 的概念，又重新燃起了心中的希望！System 2 主要针对深度学

尽管传统的TSC方法，如Webster方法和自组织交通信号控制（SOTL），在缓解拥堵方面取得了一些成就，但它们在实时交通数据利用和适应快速变化的交通状况方面存在局限性。此外，这些方法在复杂交通场景中往往表现不佳。Webster方法计算交叉口的理想周期长度和交通信号相位的分配，这基于交通量和假设在特定时期内交通流量稳定。SOTL方案使用一组预定的规则来决定是继续当前的交通信号相位还是改变它。

本文利用元评判者分配元奖励，优化模型判断偏好，克服自奖励框架的训练限制。同时，引入长度控制技术，解决训练中的长度问题。即使没有额外的人类反馈，该方法也显著改善了 Llama-3-8B-Instruct，并超越了依赖于人类反馈的强基线 Self-Rewarding 和SPPO。并且该模型的判断能力与人类及强大AI评判者（如GPT-4）高度相关。也许随着科技发展，无需人类反馈的模型超对齐将可能实现。

1. SelectIT方法的基本原理SelectIT方法是一种新颖的指令调整（Instruction Tuning, IT）数据选择方法，它通过利用大语言模型（LLMs）内在的不确定性来选择高质量的IT数据。这种方法不需要额外的模型或数据集，从而降低了成本并便于广泛采用。SelectIT的核心思想是通过评估LLMs在不同粒度上的不确定性——包括token级别、句子级别和模型级别——来提高IT数据选

作者 | 张雨霏、王二狗Runway是AI生成视频赛道的绝对霸主吗？不一定！就在这两天天，Pika在推特上官宣——Pika 1.0即将来袭！网友看到后都直呼 Amazing 🤩！Unexpected!🔥还有网友表示未来已来！pika1.0 宣称仅仅不到一分钟就可以生成单个镜头的视频动画！在视频中，pika还预告了pika beta2.0的到来！看来，未来的AI生成动画霸主终将有pika一席！p

文 | 刘聪NLP源 |NLP工作站写在前面大家好，我是刘聪NLP。今天给大家带来一篇IJCAI2022浙大和阿里联合出品的采用对比学习的字典描述知识增强的预训练语言模型-DictBERT，全名为《Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive L...

LLaMA、GPT-3等大型语言模型实现了对自然语言强大的理解和推理能力，为AI社区构筑了强大的语言基座模型。进而，继续迭代的GPT-4，更是赋予了模型处理图像的视觉能力。如今，构建强大的多模态模型已经成为了社区的共识，BLIP2、LLaVA、MiniGPT-4、mPLUG-Owl、InstructBLIP等大量的视觉语言模型（Vision-Language Models，LVLMs）犹如井喷式被