​BLOOM的原理见​BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。​LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型

deepspeed核心技术ZeRO与AllReduce的关系

近端策略优化算法论文地址：https://arxiv.org/pdf/1707.06347.pdf。

论文地址：https://arxiv.org/pdf/2211.05826.pdf​近些年来，随着Transformers\text{Transformers}Transformers的崛起，语言模型和对话代理变的越来越强大，以至于可以进行各种交互。然而，采用标准的语言模型训练、缩放模型尺寸和大量的训练数据仍然有大量的问题无法解决。特别地，模型仍然会遭受毒性和偏见的影响、缺乏连贯性以及不能解决用户

通过同时弱监督对比学习和聚类改善事件表示《Improving Envet Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering》论文地址：https://arxiv.53yu.com/pdf/2203.07633.pdf一、简介​事件的分布式表示是一种常用的表示事件的方法，其能够为

​句子对评分任务在NLP\text{NLP}NLP中被广泛使用。其可以被用于信息检索、问答、重复问题检测和聚类。对于许多包含句子对评分任务达到sota的方法是使用BERTBERT。两个句子被传递至网络中，并且注意力机制被应用在所有的输入tokens中。这种两个句子被同时传递至网络中的方法称为。​的一个缺点是对于许多任务来说计算量太大。例如，对10000个句子进行聚类，需要n2n^2n2的复杂度，使

import numpy as npimport pandas as pd一、介绍1. 预训练词向量预训练词向量是一种词的分布式表征，常见的词向量有word2vec、fasttext及Glove等。在这些预训练词向量中，每个词都会对应一个浮点型的向量，这个向量就是该词的向量表示。2. 词向量裁剪预训练词向量往往包含一个很大的词表以及这个词表所对应的向量。但是在应用中，往往并不需要将所...

Swin Transformer：基于滑动窗口的层次视觉Transformer《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》论文地址：https://arxiv.org/abs/2103.14030一、简介​在计算机视觉建模中，长期以来都是CNN\text{CNN}CNN占据主导地位。从AlexNe

《利用属性、值、结构来实现实体对齐》Exploring and Evaluating Attributes, Values, and Structures for Entity Alignment一、简介1. 目标知识图谱(KG)可以看做是三元组的集合，每个三元组(triples)均是由subject、predicate和object组成。知识图谱中的三元组主要包含两种，一种是relation t

基于自监督多尺度邻居预测的节点特征抽取《Node Feature Extraction by Self-supervised Multi-scale Neighborhood Prediction》论文地址：https://arxiv.org/pdf/2111.00064.pdf一、简介​现实世界中图结构数据普遍存在且十分重要。图神经网络GNNs\text{GNNs}GNNs在许多图学习任务上都达