社区云

bert

uan_cs 来自 GitCode 开源社区

gitcode.csdn.net · 2021-11-03 16:53:29

bert 的输出格式详解

输出是一个元组类型的数据，包含四部分，last hidden stateshape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态pooler_output：shape是(batch_size, hidden_size)，这是序列的第一个token(classification token)的最

#bert #人工智能 #深度学习

1.5w 

29 
熊思健WHUT 来自 GitCode 开源社区

gitcode.csdn.net · 2022-08-22 11:04:03

BERT预训练模型的使用

BERT

#bert #自然语言处理 #深度学习

6478 

9 
诗之本秋穂来自 GitCode 开源社区

gitcode.csdn.net · 2023-05-15 12:45:47

下载bert的预训练模型并加载训练教程

下载bert的预训练模型

#bert #深度学习 #pytorch

4653 

11 
尽量不躺平的kayla 来自 GitCode 开源社区

gitcode.csdn.net · 2021-10-11 14:37:11

【文本生成】评价指标：BERTScore

BERTScore使用contextual embedding来描述句子，计算两个句子之间的相似度。在本文中，我们将重点放在句子级别的生成评估上，并提出了：BERTScore，这是一种基于预训练的BERT上下文嵌入（bert）的评估指标。 BERTScore将两个句子之间的相似度计算为它们的标记之间的余弦相似度的加权汇总。基于n-gram matching metric 的常见缺陷：semant

#自然语言处理 #深度学习 #pytorch +1

1.1w 

12 
weixin_44624036 来自 GitCode 开源社区

gitcode.csdn.net · 2023-06-24 20:15:35

【自然语言处理NLP】Bert预训练模型、Bert上搭建CNN、LSTM模型的输入、输出详解

通过使用不同宽度的卷积核，模型能够同时捕捉不同范围的语义信息，从而提高模型对输入文本的理解能力。是一个与输入张量形状相同的二进制张量（0和1组成），用于指示哪些位置是有效的（1表示有效）和哪些位置是填充的（0表示填充）。令牌的表示可以用作整个序列的汇总或句子级别的表示，通常用于下游任务的分类或句子级别的特征提取。这些属性提供了BERT模型在不同层级和注意力机制上的输出信息，可以根据任务的需求选择合

#自然语言处理 #bert #cnn

6173 

10 
rain2014 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2023-09-23 15:19:32

table understanding表格理解paper：表格信息抽取，表格问答，表格检索等

https://github.com/wenhuchen/OTT-QAhttps://github.com/microsoft/TUTA_table_understandinghttps://github.com/google-research/tapashttps://github.com/microsoft/Table-Pretraininghttps://modelscope.cn/mode

#自然语言处理 #transformer #人工智能 +1

235 
还卿一钵无情泪来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2022-07-11 19:33:17

TensorFlow BERT fine-tune 训练中断解决办法或使用开源模型继续fine-tune 参数配置

TensorFlow bert模型中断后如何继续训练

#bert #人工智能 #深度学习

727 

1 
mjiansun 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2022-03-02 10:55:28

【Bert】（二）句子关系判断--数据介绍及标注

论文：https://arxiv.org/pdf/1810.04805.pdf官方代码：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT数据官方的分类任务例子，也就是判断两句话意思是否一致。数据下载原始下载链接：https://gluebenchmark.com/tasks如果网速不好，我已

#bert #分类 #深度学习

1014 

1 
深度学习的学习僧来自 GitCode 开源社区

gitcode.csdn.net · 2023-06-05 22:45:37

自学大语言模型之Bert和GPT的区别

GPT：GPT是一种基于Transformer的生成式预训练模型，其目标是通过自回归语言模型预训练来学习生成连贯文本的能力。BERT：BERT是一种基于Transformer的预训练模型，它的目标是通过双向语言模型预训练来学习上下文相关的词表示。通过大规模的预训练数据和迭代的优化过程，

#语言模型 #bert

6293 

15 
空想之余来自 GitCode 开源社区

gitcode.csdn.net · 2022-05-21 10:54:14

CNN、RNN、LSTM、BERT等引用格式

三个引用格式，以此是GB/T 7714:文后参考文献著录规则（我国）国家标准的代号由大写汉语拼音字母构成。强制性国家标准的代号为"GB"，推荐性国家标准的代号为"GB/T"。“MLA(Modern Language Association)是一种常用的引用格式,为美国现代语言协会制定的论文指导格式，在一般书写英语论文时应当使用MLA格式来保证学术著作的完整。”APA（American Psych

#rnn #cnn #bert

6109 

19 
星川皆无恙来自 GitCode 开源社区

gitcode.csdn.net · 2024-02-01 20:45:19

大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统

基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统通过构建医疗领域的知识图谱来实现计算机的深度学习，并且能够实现自动问答的功能。本次的内容研究主要是通过以Python技术来对医疗相关内容进行数据的爬取，通过爬取足量的数据来进行知识图谱的的搭建，基于Python语言通过echarts、Neo4j来实现知识图谱的可视化。通过智慧问答的方式构建出以BERT+LSTM+CRF的深度学

#深度学习 #大数据 #知识图谱 +4

4652 

48 
m0_56367027 来自 GitCode 开源社区

gitcode.csdn.net · 2024-01-09 11:15:11

【hugging face无法加载预训练模型】OSError：Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying

当运行以下两行代码时，明明已经将下载到本地的bert-base-uncased模型放到了当前py文件的目录下，

#bert #人工智能 #深度学习

2436 

10 
路新航来自 GitCode 开源社区

gitcode.csdn.net · 2021-03-13 15:31:37

bert简单介绍和实践

一，安装环境安装Anaconda,打开Anaconda prompt创建python=3.7版本的环境，取名叫py36conda create -n DP python=3.7激活环境conda activate DP(conda4之前的版本是：source activate py36 )退出环境conda deactivate下载如下包：xlwd,xlrd 1.2.0transformers 4

#bert #人工智能 #深度学习

1w 

10 
NotTerror魔仁来自 GitCode 开源社区

gitcode.csdn.net · 2024-03-16 13:47:57

BT论坛会比这些搜索引擎收录快!

还有一点，一般专门的BT论坛会比这些搜索引擎收录快，发布站式的BT站也会比抓取的搜索引擎收录快。108.Nutorrent（专注18X资源的国外站点，资源不多而且很旧，不支持中文，使用意义不大）王者级别的BT搜索，多重搜索，几乎包含了国外所有热门的BT站，但是很多网站被qiang了。103.漫画TorrentFREE（站如其名，专门发布漫画同人志什么的，你懂得）

#搜索引擎 #bert #深度学习 +2

3793 

58 
GCTTTTTT 来自 GitCode 开源社区

gitcode.csdn.net · 2024-02-06 12:55:28

Bert下载和使用（以bert-base-uncased为例）

下载config.json和pytorch_model.bin。在huggingface（

#bert #人工智能 #深度学习 +1

3452 

12 
m0_60388871 来自 GitCode 开源社区

gitcode.csdn.net · 2024-02-06 20:04:10

引入BertTokenizer出现OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.

要么就是更新该库transformers。

#bert #人工智能 #深度学习

5734 

5 
小田来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2024-03-10 19:40:02

【深度学习技术系列】Bert生成向量实践

对于AI开发者的GitHub，提供了模型、数据集（文本|图像|音频|视频）、类库（Transformer|peft|accelerate）、教程等。社区HuggingFace是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。目前包括模型236,291个，数据集44,810个。刚开始

#深度学习 #bert #人工智能

1071 

18 
代码骑士来自腾讯云开发者社区

tencentcloud.csdn.net · 2023-10-16 07:58:56

【深度学习应用】基于Bert模型的中文语义相似度匹配算法[离线模式]

【代码】基于Bert模型的中文语义相似度匹配算法（离线模式）

#bert #人工智能 #深度学习

2547 

6 
只鸥周来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2023-11-05 21:36:13

09_masked_lm

https://github.com/chunhuizhang/bilibili_vlogs/blob/master/fine_tune/bert/tutorials/09_masked_lm.ipynb

#bert #人工智能 #深度学习

99 
骑单车的王小二来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2021-12-21 11:02:19

pytorch bert微调实例（句子对）

transformer上的实例：https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification微调教程：https://huggingface.co/docs/transformers/task_summary

#pytorch #bert #transformer

441 
_春天_ 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2022-04-09 20:55:43

【论文阅读-Transformer】Attention is all you need

Title: Attention is all you needFrom: NeurIPS 2017Link: https://arxiv.org/abs/1706.03762Code: https://github.com/tensorflow/tensor2tensor.循环神经网络被普遍作为序列建模和转录问题的最佳模型。但是，循环模型（Recurrent models）存在两个问题：（1）其

#bert #transformer #机器学习

316 
szZack 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2019-10-19 09:55:52

最全中文文本分类模型(TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention，DPCNN，Transformer，Bert，ERNIE)源码分享

1、中文文本分类，基于pytorch，开箱即用。模型包括：TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention，DPCNN，Transformergithub源码链接点击查看测试对比2、中文文本分类，预训练语言模型，基于pytorch，开箱即用。预训练语言模型包括：Bert，ERNIEgithub源码...

#bert

6970 

4 
早知晓来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2023-03-28 16:07:03

BERT 开源的预训练中文语言模型 Chinese_L-12_H-768_A-12 下载

BERT 开源的预训练中文语言模型 Chinese_L-12_H-768_A-12 下载地址。

#bert #语言模型 #人工智能

2374 
半九拾来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2019-12-25 17:14:37

NVIDA apex 安装错误

apex配置步骤：1、下载（可以下载到任意位置）git clone https://github.com/NVIDIA/apex.git2、进入目录cd apex3、安装pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" .安装时出现ERRI...

#bert

4579 

1 
Wb^Maker 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2023-04-29 20:59:03

BERT(cpu)代码复现

逐行注释，逐行解析。可直接运行。codefrom https://github.com/graykode/nlp-tutorial/tree/master/5-2.BERT

#深度学习 #bert #nlp

300 

1 
词一丶来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2023-01-19 15:44:30

python_谷歌开源BERT模型文本分类出现的相关报错记录

主要为了记录python使用Pycharm进行BERT文本分类任务前期一些相关的报错记录及个人成功解决方案

#python #pycharm #bert +1

1846 

2 
aaaa_hsjsueu 来自腾讯云开发者社区

tencentcloud.csdn.net · 2024-02-15 08:58:39

【深度学习】基于BERT模型的情感分类（附实战代码）

情感分类是一个快速发展的研究领域，尽管众多模型和数据集在二分类任务中显示出很高的准确性，但细粒度的情感分类任务仍然是一个很大改进空间的领域。分析SST-5数据集，Munikar等人的先前工作表明，嵌入工具BERT允许使用简单的模型来实现最新的准确性。

#深度学习 #nlp #bert +3

4009 

41 
u013250861 来自开放原子开发者工作坊

openatomworkshop.csdn.net · 2022-02-24 22:45:00

NLP-文本分类：Bert文本分类(fine-tuning)【一分类（MSELoss）、多分类（CrossEntropyLoss）、多标签分类（BCEWithLogitsLoss）】

本文介绍如何利用BERT fine-tuning一个文本情感分类模型。二、Bert源码（BertForSequenceClassification）源码位置：\transformers\models\bert\modeling_bert.py@add_start_docstrings("""Bert Model transformer with a sequence classification/

#自然语言处理 #分类 #bert

1386 
Moresweet猫甜来自 GitCode 开源社区

gitcode.csdn.net · 2023-06-22 20:44:47

【自注意力机制必学】BERT类预训练语言模型（含Python实例）

BERT（Bidirectional Encoder Representations from Transformers）是一种预训练模型，它是自然语言处理（NLP）领域的重大里程碑，被认为是当前的State-of-the-Art模型之一。BERT的设计理念和结构基于Transformer模型，通过无监督学习方式进行训练，并且能够适配各种NLP任务。预训练模型是指在大规模文本数据上进行大量无监督训

#bert #语言模型 #python +1

6622 

52 
u013250861 来自 GitCode 开源社区

gitcode.csdn.net · 2023-05-27 21:31:32

命名实体识别模型BERT-Bi-LSTM-CRF

序列标注的命名实体识别众多方法中将CNN、RNN和BERT等深度模型与条件随机场CRF结合已经成为最主流和普遍的方法，在本篇文章中我们仅关注基于CRF的序列标注模型。[机器学习]：早期传统机器学习时代，除了利用人工规则的方法外，往往利用隐马尔科夫链HMM和条件随机场CRF进行实体标注；随着深度学习的发展，将CNN和RNN做为基本的文本特征编码器，更好的学习token或word的隐层表示，再利用CR

#bert #lstm #机器学习

4339 

3 
li1784506 来自 GitCode 开源社区

gitcode.csdn.net · 2023-08-09 14:31:40

HuggingFace的Transformers库Tokenizer和Model使用技巧

Bert模型作为一个强大的双向Transformer模型，已经在NLP领域广泛使用并作为word embeddding 预训练模型深受青睐。Hugging Face的transformers框架包含BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2两个框架，本博客主要介绍如何从Hugging Face加载预训练模型及高效使用。

#bert #人工智能 #深度学习

6593 

12 
Ajian 来自 GitCode 开源社区

gitcode.csdn.net · 2023-10-13 12:21:18

声音克隆，定制自己的声音，使用最新版Bert-VITS2的云端训练+推理记录

克隆自己的声音，vits

#人工智能 #深度学习 #bert

6228 

3 
凝眸伏笔来自 GitCode 开源社区

gitcode.csdn.net · 2021-08-02 22:50:16

Bert的文本编码tokenizer、分隔符(MASK/CLS/SEP)编码

1.文本编码bert模型的输入是文本，需要将其编码为模型计算机语言能识别的编码。这里将文本根据词典编码为数字2.分隔符编码特殊的分隔符号：[MASK] ：表示需要带着[]，并且mask是大写，对应的编码是103[SEP]: 对应的编码是102[CLS]:对应的编码是101[]:对应的编码是eg：from transformers import BertTokenizerbert_name = 'b

#nlp #bert

2.6w 

29 
凝眸伏笔来自 GitCode 开源社区

gitcode.csdn.net · 2021-05-02 15:56:13

Bert系列：如何用bert模型输出文本的embedding

问题：分类模型可以输出其文本的embedding吗?LM模型可以输出其文本的embedding吗？答案：可以。假设你已经用自己的数据fine-tuing好模型。1.用哪个类可以输出文本的embedding?BertModel这个类初始化的模型，输出中有pooler_out，可以作为文本的embedding。bert系列的其他类，没有这个输出选项。稍后会解释pooler_out是什么。2.获取Emb

#nlp #自然语言处理 #bert

2.2w 

28 
Alanovo 来自 GitCode 开源社区

gitcode.csdn.net · 2023-11-28 15:05:35

Bert-VITS2 v2.1.0部署简单教程（加处理数据集脚本）

不是什么很详细很正经的教程，自己写来自己以后看的脚本，方便后面加东西，主要是数据集的处理这一块。没啥加啥异常处理，就是简单的脚本，如果炸了就删掉重新来。有不懂的可以去GitHub加作者的群或者加我的讨论群869029039。

#python #bert

3418 

6 
DonngZH 来自 GitCode 开源社区

gitcode.csdn.net · 2023-03-06 16:01:57

【深度学习】预训练语言模型-BERT

BERT是一种预训练语言模型（pre-trained language model, PLM），其全称是Bidirectional Encoder Representations from Transformers。

#bert #人工智能 #深度学习

1.2w 

10 
AI医疗来自 GitCode 开源社区

gitcode.csdn.net · 2023-11-10 16:37:55

AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆

本文提出VITS2，一种单阶段的文本到语音模型，可以有效地合成更自然的语音。通过在时长预测器中引入对抗学习，提高了训练推理效率和自然度。将transformer块添加到规范化流中，以捕获在转换分布时的长期依赖关系。通过在对齐搜索中引入高斯噪声，提高了合成质量。对音素转换的依赖显著减少，这对实现完全端到端单阶段语音合成构成了挑战。测试结果也表明，整体可懂度得到了提升。通过实验、质量评估和计算速度测量

#bert #人工智能 #深度学习

5535 

25 
技术狂潮AI 来自 GitCode 开源社区

gitcode.csdn.net · 2023-07-27 13:49:06

BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务

BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而更好地理

#bert #分类 #人工智能

7456 

17 
Gaolw1102 来自 GitCode 开源社区

gitcode.csdn.net · 2022-11-17 08:32:42

基于 BERT 实现的情感分析(文本分类)----概念与应用

一文详解Bert的发展由来，及如何使用Bert模型实现情感分析(文本分类任务)

#bert #分类 #人工智能

2w 

38 
little pierce 来自 GitCode 开源社区

gitcode.csdn.net · 2023-07-25 16:55:58

在Hugging Face上下载并使用Bert-base-Chinese

在Hugging Face上下载Bert_Base_Chinese，并使用该模型完成一些基础任务。

#bert #人工智能 #深度学习

9926 

20 
昇思MindSpore 来自 HuaweiCloudDeveloper

gitcode.com/HuaweiCloudDeveloper · 2022-09-05 15:37:42

Bert性能提升14.8%，MindSpore算子自动生成技术详解

而自动算子生成技术可以打破图层和算子层的边界，不仅可以实现传统的自动算子融合，还可以实现自动的算子重组，也就是把不同算子内部的计算进行深度的重组与整合，进一步提高性能。深度学习编译器能通过对编译过程的前端、中端、后端的抽象提取，以及相对统一的中间表达IR，使前端框架和后端优化分离开来，相当于把不同前端到不同后端这样一个C_N^2的组合空间大大简化，并通过自动生成技术完成这其中的中间表达IR生成、针

#bert #人工智能 #深度学习

815 
在下小李～来自 HuaweiCloudDeveloper

gitcode.com/HuaweiCloudDeveloper · 2022-12-27 19:16:26

将一个 PyTorch BERT 模型转换为 MindSpore 模型

将一个 PyTorch BERT 模型转换为 MindSpore 模型

#pytorch #bert #深度学习

1001 

4 
昇思MindSpore 来自 HuaweiCloudDeveloper

gitcode.com/HuaweiCloudDeveloper · 2022-09-05 15:52:48

教你用MindSpore实现Bert

Bert主体的网络结构定义在src/bert_model.py内，生成数据集的相关代码在src/dataset.py中，src/ finetune_eval_model.py内存放了finetune相关的网络改造代码，src/bert_for_pre_training.py和src/bert_for_finetune.py封装放了训练相关的类，src/config.py中存放了配置信息。使用时通过

#bert #人工智能 #深度学习

868 
人生嘚节奏来自 HuaweiCloudDeveloper

gitcode.com/HuaweiCloudDeveloper · 2024-01-19 21:46:00

昇思MindSpore技术公开课-ChatGLM2

ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B 的第二代版本，保留初代模型对话流畅、部署门槛较低等众多优秀特性GLM模型的自回归填空方法基于上下文预测下一个token的生成模型。

#人工智能 #bert

893 

20 
Lumos_yuan 来自 HuaweiCloudDeveloper

gitcode.com/HuaweiCloudDeveloper · 2024-01-23 15:30:42

昇思MindSpore技术公开课——第二课：BERT

word2vec/Glove将离散的文本数据转换为固定长度的静态词向量，后根据下游任务训练不同的语言模型；ELMo预训练模型将文本数据结合上下文信息，转换为动态词向量，后根据下游任务训练不同的语言模型；BERT同样将文本数据转换为动态词向量，能够更好地捕捉句子级别的信息与语境信息，后续只需对BERT参数进行微调，仅重新训练最后的输出层即可适配下游任务；GPT等预训练语言模型主要用于文本生成类任务，

#bert #人工智能 #自然语言处理

927 

18 

标签介绍

bert

——bert

热门标签

关于我们

联系我们（工作时间：8:30-22:00）

400-660-0108 kefu@csdn.net