深度网络的公理归因Axiomatic Attribution for Deep Networks一、简介本文研究的问题是，将深度网络的预测结果归因到输入的特征中。本文确定了两条归因的基本公理：Sensitivity和Implementation Invariance，并基于这两个公理设计了一种新的归因方法，称为积分梯度法(Integrated Gradients)。该论文之前的许多归因方法并不完全

SIMVLM：基于弱监督的简单视觉语言模型预训练《SIMVLM：Simple Visual Language Model Pre-training with Weak Supervision》论文地址：https://arxiv.org/pdf/2108.10904.pdf?ref=https://githubhelp.com一、简介​基于Transformer\text{Transformer}

​语言模型的预训练是自然语言处理中非常有前景的研究方向。预训练会使用无标注的文本，能够结合大规模数据集和大模型来实现更好的效果或者新的能力。例如，GPT-3是一个在大规模无标注文本上训练的175B参数模型，并展现出令人影响深刻的few-shot learning能力。​对话模型(大语言模型最有趣的应用之一)成功利用了Transformers表示文本中长距离依赖的能力。与通用语言模型类似，对话模型也

​近些年来，随着大型预训练语言模型的兴起，人们对开发式语言生成越来越感兴趣。之所以开放式语言生成效果令人印象深刻，除了架构的改善和大量的无监督训练数据，更好的解码方式也扮演着重要的角色。本文对不同的解码方法进行了简单的介绍并展示如何使用库进行实现。​以下所有的功能都是用于自回归语言生成。

​语言模型的规模不断扩大，这对部署带来了巨大的挑战。本文设计了一种可扩展且稳定的1-bit Transformer架构来实现大语言模型，称为BitNet。具体来说，使用BitLinear作为标准nn的替代品。实验结果表明BitNet能够显著减少存储占用和能力消耗，并且与最先进的8-bit量化和FP16 Transformer能力相当。此外，BitNet也表现出了类似于全精度Transformer的

​不同于普通的，约束允许对文本生成的输出施加约束。这很有用，因为有时是确切知道在输出中需要什么。举例来说，在神经机器翻译中，可以知道哪些单词必须包含在最终的翻译中的。有时，由于特定的上下文，对于语言模型来说很有可能生成不满足用于期望的非结构。这两种情况都能够通过用户告诉模型输出结果中必须包含的单词来解决。

一、这个IMDB数据集包含了50000条电影评论，其中25000条用于训练，另外25000条用于测试。其label只包含0或1，其中0表示负面评价，1表示正面评价from keras.datasets import imdb(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words=8000) ...

​BLOOM的原理见​BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。​LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型

​近期出现了一些列的大语言模型(Large Language Models, LLM)，最大的稠密语言模型已经超过了500B的参数。这些大的自回归transformers已经在各个任务上展现出显著效果。​训练LLM的计算和能源消耗是巨大的，并且随着模型尺寸的增加而增加。实际中，分配的计算预算是提前知道的：有多少机器可用以及我们想使用它们多久。通常训练LLM只会训练一次，在给定计算预算的情况下准确估

​程序合成(program synthesis)的目标是自动化编程过程，从而生成能够满足用户意图的计算机程序。程序合成面临两个关键的挑战：(1) 搜索空间难以处理；(2) 难以确定用户意图。为了解决搜索空间的问题，本文将程序合成任务形式化为语言建模过程，即基于前面的tokens预测下一个token的条件概率分布。​程序合成需要理解用户的意图。用户通常通过逻辑表达式、伪代码、输入-输出示例、或者自然