一、这个IMDB数据集包含了50000条电影评论，其中25000条用于训练，另外25000条用于测试。其label只包含0或1，其中0表示负面评价，1表示正面评价from keras.datasets import imdb(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words=8000) ...

​BLOOM的原理见​BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。​LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型

​近期出现了一些列的大语言模型(Large Language Models, LLM)，最大的稠密语言模型已经超过了500B的参数。这些大的自回归transformers已经在各个任务上展现出显著效果。​训练LLM的计算和能源消耗是巨大的，并且随着模型尺寸的增加而增加。实际中，分配的计算预算是提前知道的：有多少机器可用以及我们想使用它们多久。通常训练LLM只会训练一次，在给定计算预算的情况下准确估

​程序合成(program synthesis)的目标是自动化编程过程，从而生成能够满足用户意图的计算机程序。程序合成面临两个关键的挑战：(1) 搜索空间难以处理；(2) 难以确定用户意图。为了解决搜索空间的问题，本文将程序合成任务形式化为语言建模过程，即基于前面的tokens预测下一个token的条件概率分布。​程序合成需要理解用户的意图。用户通常通过逻辑表达式、伪代码、输入-输出示例、或者自然

import numpy as npimport pandas as pdfrom pandas import Series,DataFramedf1 = DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)})df2 = DataFrame({'key':['a','b','d']...

通过同时弱监督对比学习和聚类改善事件表示《Improving Envet Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering》论文地址：https://arxiv.53yu.com/pdf/2203.07633.pdf一、简介​事件的分布式表示是一种常用的表示事件的方法，其能够为

SGC：简化图卷积网络《Simplifying Graph Convolutional Networks》论文地址：https://arxiv.org/abs/1902.07153一、简介​图卷积神经网络(Graph Convolutional Networks,GCNs\text{Graph Convolutional Networks,GCNs}Graph Con

视觉语言预训练(VLP)被证明在广泛的视觉语言任务中是有效的。典型的VLP由两阶段组成：(1) 一个预训练的目标检测模型，用于编码图像中的视觉目标至特征向量；(2) 一个预训练的跨模态融合模型，用于融合文本和视觉特征。现有的VLP研究主要专注在改善跨模型融合模型，本文则专注在改善以目标为中心的视觉表示...............

论文地址：https://arxiv.org/pdf/2202.03052.pdf​在人工智能领域，建立一个能像人类处理多任务和多模态的全能模型是一个有吸引力的目标。这个目标的核心问题是在单一模型中表达大量不同模态、任务和训练机制。​Transformer\text{Transformer}Transformer架构近期的发展已经展示出其成为通用计算引擎的潜力。在监督学习的设置中，预训练-微调范式

苏神论文：https://arxiv.org/pdf/2103.15316.pdfBERT-Whitening​BERT虽然很成功，但是通过BERT来获取句子嵌入仍然是个问题。先前的研究认为BERT获取的句嵌入向量存在各向异性的问题，导致cosine相似度无法度量句子间的语义相似性。BERT-Whiteing\text{BERT-Whiteing}BERT-Whiteing通过简单的白化操作，将嵌