from bs4 import BeautifulSoup一、修改tag的名称和属性soup = BeautifulSoup('<b class="boldest">Extremely bold</b>','lxml')tag = soup.btag<b class="boldest"&a

import urllib.requestimport urllib.parse一、HTTP协议1.HTTP是一个面向应用层的通讯协议，它使用URL定位资源、建立链接和传输数据。2.当爬取指定URL页面时，主机会向服务器发送HTTP请求消息，消息的格式包含：请求行请求头部空行请求数据3.请求行用来说明请求类型，要访问的资源和所使用的HTT...

深度网络的公理归因Axiomatic Attribution for Deep Networks一、简介本文研究的问题是，将深度网络的预测结果归因到输入的特征中。本文确定了两条归因的基本公理：Sensitivity和Implementation Invariance，并基于这两个公理设计了一种新的归因方法，称为积分梯度法(Integrated Gradients)。该论文之前的许多归因方法并不完全

SIMVLM：基于弱监督的简单视觉语言模型预训练《SIMVLM：Simple Visual Language Model Pre-training with Weak Supervision》论文地址：https://arxiv.org/pdf/2108.10904.pdf?ref=https://githubhelp.com一、简介​基于Transformer\text{Transformer}

​语言模型的预训练是自然语言处理中非常有前景的研究方向。预训练会使用无标注的文本，能够结合大规模数据集和大模型来实现更好的效果或者新的能力。例如，GPT-3是一个在大规模无标注文本上训练的175B参数模型，并展现出令人影响深刻的few-shot learning能力。​对话模型(大语言模型最有趣的应用之一)成功利用了Transformers表示文本中长距离依赖的能力。与通用语言模型类似，对话模型也

​近些年来，随着大型预训练语言模型的兴起，人们对开发式语言生成越来越感兴趣。之所以开放式语言生成效果令人印象深刻，除了架构的改善和大量的无监督训练数据，更好的解码方式也扮演着重要的角色。本文对不同的解码方法进行了简单的介绍并展示如何使用库进行实现。​以下所有的功能都是用于自回归语言生成。

​语言模型的规模不断扩大，这对部署带来了巨大的挑战。本文设计了一种可扩展且稳定的1-bit Transformer架构来实现大语言模型，称为BitNet。具体来说，使用BitLinear作为标准nn的替代品。实验结果表明BitNet能够显著减少存储占用和能力消耗，并且与最先进的8-bit量化和FP16 Transformer能力相当。此外，BitNet也表现出了类似于全精度Transformer的

​不同于普通的，约束允许对文本生成的输出施加约束。这很有用，因为有时是确切知道在输出中需要什么。举例来说，在神经机器翻译中，可以知道哪些单词必须包含在最终的翻译中的。有时，由于特定的上下文，对于语言模型来说很有可能生成不满足用于期望的非结构。这两种情况都能够通过用户告诉模型输出结果中必须包含的单词来解决。

一、这个IMDB数据集包含了50000条电影评论，其中25000条用于训练，另外25000条用于测试。其label只包含0或1，其中0表示负面评价，1表示正面评价from keras.datasets import imdb(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words=8000) ...

​BLOOM的原理见​BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。​LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型