登录社区云，与社区用户共同成长
邀请您加入社区
一、PageRank算法原理一个合格的收索引擎，它所具备的最基础的功能便是网页搜索，根据用户给出的关键字查询出最匹配，最能满足用户需求的页面。那么搜索引擎到底应该如何排序才好呢？这在谷歌引领互联网搜索引擎之前，人们为此伤透脑筋，想出了一些最初的办法。人们认为，应该如何得知哪个网页是最重要的这件事，应该由顾客自己来决定，如果计算得出哪个网页更重要，那么它就应该排在靠前的位置，这个问题看似容易，但实则
BART（Bidirectional and Auto-Regressive Transformers，双向自回归变压器）用于多模态中将文字转为图像。参考网上开源的中文bart地址：https://huggingface.co/uer/bart-base-chinese-cluecorpussmall，下面是个使用例子模型简要描述如下：BART模型架构与transformer相同，但参考GPT模型
在这篇文章里，我将分享我实现这篇论文的方法。问题描述数据集关于数据使用的损失函数准备检测数据准备识别数据训练检测模型和识别模型代码整合显示结果引用问题描述我们需要从任何图像(包含文本)检测文本区域，这个图像可以是任何具有不同背景的东西。在检测到图像后，我们也必须识别它。FOTS的完整形式是快速定向文本点亮。可以在任何自然场景中检测和识别任何文本。在上面的图像中，FOTS给出了结果，它检测到“间隙”
本文是由罗艺老师主讲的『端到端声源分离研究进展』f分享整理而来。内容主要覆盖了单通道和多通道上端到端音源分离的现状和进展以及未来的研究方向。文末有彩蛋，评论可获取课程学习资料~端到端音源分离定义与进展什么是端到端音源分离呢？罗艺老师首先介绍了端到端音源分离的定义。从名称来看，端到端的含义是模型输入源波形后直接输出目标波形，不需要进行傅里叶变换将时域信号转换至频域；音源分离的含义是将混合语音中的两个
Seq2Seq模型把英语翻译成德语我们可以注意到机器翻译是一个多对多的问题，输出长度和输入长度且不固定做机器翻译的第一步都是处理数据，我们首先来对数据进行处理，把这些句子用矩阵，还有例如把大写字母变为小写字母，去掉标点符号等等，预处理之后，进行tokenization，把一句话进行变成很多个单词或者很多个字符，做tokenizer时候我们需要两个不同的tokenizer，英语用一个，德语用一个。
在任务型的对话系统中，对话状态跟踪（DST）的目标是从对话历史中监控对话的状态。DST中的State用一组Slot-Value键值对表示；一、基于规则的DST二、基于模型的DSTAt a high level, given a dialog context and a candidate slot- value pair, our model outputs a score indicating
================================================================================================ACL 2019：Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems===================
中文分词是文本处理必不可少的一部分，词性标注对后续的关键词截取和词云图绘制是非常有帮助的
1.摘要基于上次分享的分词技术介绍，本次继续分享在分词后与词相关联的两个技术：词性标注和命名实体识别。词性是词汇基本的语法属性，也可以称为词类。词性标注的行为就是在给定的中文句子中判定每个词的语法作用，确定每个词的词性并加以标注。命名实体识别在信息检索方面有着很重要作用，检测出代表性的名称，下面我们深入了解下这两个技术。2.词性标注首先简单举例说明一下中文词性标注的应用效果。例如，表示地点、事物、
实现中文分词、词性标注、关键词提取、句法分析等智能预处理的一个简单的小实验作业实验报告一、实验目的 3二、实验环境 3三、 实验内容（内容以txt1分析为例） 31、文本素材自动分词 3（1）分词初步处理 3（2） jieba精准模式分词 3（3） 部分结果分析 4（4）调整分词结果 4（5）添加自定义词典 4（6）动态调整词典 5（7）调整词频 5（8）导出结果 62、 文本素材自动词性标注 6
目录1. 什么是词性标注？2. 词性标注的难点2.1 兼类现象2.1.1 英语词的兼类现象2.1.2 汉语词的兼类现象3. 词性标记集4. 基于HMM的词性标注4.1 什么是基于HMM的词性标注？4.1.1 HMM的提出4.1.2 数学角度4.1.3 Maekov模型4.2 HMM的形式化描述4.2.1 几个概率4.2.2 三大问题的解决方案4.3 参数估计4.4 维特比(viterbi)算法求最
目录前言方法工具实例前言一般而言，文本里的动词可能比较重要，而助词可能不太重要：我今天真好看我今天真好看啊甚至有时候同一个词有着不同的意思：我一把把把把住了越是常用的词，不同的用法越多。由于兼类使用程度高，兼类现象涉及汉语中大部分词类，因而造成在汉语文本中词类歧义排除的任务量巨大。那么这个时候可以先对词汇进行词性标注（即在文本中判定每个词的语法范畴，确定其词性并加以标注的过程），再基于词性提取关键
一、基本概念文本匹配：计算文本之间的相似度，主要分为两大类：1）基于句子向量表示的相似度模型（适合初始召回）；2）基于词级别匹配的相似度模型（适合对召回结果重排）问答系统：信息检索的一种高级形式，能够更加准确地理解用户用自然语言提出的问题，并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于搜索引擎，问答系统能更好地理解用户提问的真实意图, 进一步能更有效地满足用户的信息需求。问
公众号 系统之神与我同在基于知识图谱的问答形式基于知识图谱的问答基于模板的方法跨垂域粗粒度的语义解析方法基于路径匹配的方法基于模板的方法基于模板的方法—模板挖掘方法带约束的问答—世界之最问题1. 属性归一化解决方案：同义词、词向量、句对相似度匹配问题2. 无属性解决方案：对量词（大、长）设置一些默认排序的属性基于模板的方法缺点：·模板扩充，耗时耗力·泛化性差，召回有限优点：·准确率高：95%·线上
基于文本语义的智能问答系统以及数据格式应用NLP: 基于文本语义的智能问答系统应用场景：智能语音交互，在线客服，知识获取，情感类聊天等常见的分类：生成型，检索型问答系统；单论问答，多轮问答系统；面向开放领域，特定领域的问答系统example:基于检索，面向特定领域的问答系统——智能客服机器人1. 传统客服机器人的搭建流程：思路一：需要将相关领域知识转化为一系列的规则和知识图谱弊端=[重度依赖"人工
来自：NLP从入门到放弃今天分享一个论文UniLM[1]，核心点是掌握三种LM任务形式：单向LM，双向LM，序列到序列LM；1. 生成任务NLP任务大致可以分为NLU和NLG两种；Ber...
文本生成自动评价方法BLEU ROUGE CIDEr SPICE Perplexity METEOR1. BLEUBilingual Evaluation Understudy，双语评估辅助工具核心思想比较候选译文和参考译文里的 n-gram 的重合程度，重合程度越高就认为译文质量越高。unigram用于衡量单词翻译的准确性，高阶n-gram用于衡量句子翻译的流畅性。 实践中，通常是取N=1~4，
文本生成（Text generation）这节课介绍RNN的一个应用：文本生成。我们可以训练一个RNN来自动生成文本。主要思想（Main idea）我们以一个例子开始，假设输入半句话，“The cat sat on the ma”，要求预测下一个字符。我们可以训练一个神经网络来预测下一个字符，训练数据是很多文本，把文本分割成字符，用One-hot encoding来表示字符。把这些One-Hot向
最近在学习文本分类，读了很多博主的文章，要么已经严重过时（还在一个劲介绍SVM、贝叶斯)，要么就是机器翻译的别人的英文论文，几乎看遍全文，竟然没有一篇能看的综述，花了一个月时间，参考了很多文献，特此写下此文。思维导图https://www.processon.com/mindmap/61888043e401fd453a21e978文本分类简介文本分类（Text Classification 或 T
NLP学习笔记（5）——语言模型1. 基本概念1.1 概念导入1.2 划分等价类的方法——n元文法模型（n-gram）1.3 概率计算1.4 语言模型的应用1.4.1 音字转换问题1.4.2 汉语分词问题2. 参数估计2.1 最大似然估计2.2 数据平滑2.2.1 前置知识2.2.2 数据平滑的几种方法2.2.2（1）加1法（Additive smoothing）1. 基本概念1.1 概念导入大规
深度学习模型（主要是感知类模型）接受的输入信号，主要包括图像、文本、语音等信号。不同模态的输入信号，经过模型的逐层抽象、转换之后，转变为不同程度的抽象表示，并应用于不同的任务场景。如上图所示，深度学习模型包含前处理、浅层、深层、任务相关层与后处理多个阶段，不同阶段的输入/输出具备不同的含义，简述如下（图像信号处理以CNN模型为例、语音/文本信号处理以BERT/Transformer模型为例）：输入
一、前言基于centos 操作该项目结合Milvus和BERT来构建问答系统。这旨在提供一种结合人工智能模型的Milvus实现语义相似性匹配的解决方案。github地址：Milvus问答系统英文部署说明地址:https://github.com/milvus-io/bootcamp/blob/v2.0.2/solutions/question_answering_system/quick_depl
XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。总之，XLNet是一种通用的自回归预训练方法。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果（state-of-the-art），包括机器问答、自然语言推断、情感分析和文档排序。作者表示，BERT 这样基于去噪自
最近看了GPT系列模型，这里特此做一下学习记录和个人思考，先附上三个模型的论文：GPT：https://paperswithcode.com/method/gptGPT2：https://paperswithcode.com/method/gpt-2GPT3：https://paperswithcode.com/method/gpt-3下面逐一进行介绍：GPT一句话就是：预训练+微调作者指出：无标
核心思想与算法描述文本摘要有两种实现方式，一种是基于生成的方式，通过使用RNN等神经网络进实现，另外一种是抽取的方式。本次作业重点关注基于抽取式的文本自动摘要的实现，以及实现的算法——textrank。pagerank算法应用于谷歌等搜索引擎中，通过网页链接的数量和质量来初略估计网页的重要性，从而对网页进行排名。textrank是基于pagerank算法的一种改进，它利用一篇文章内部词语共同出现的
最近在梳理文本摘要相关内容，翻到一篇19年关于基于BERT模型进行抽取式摘要的老文「BertSum」，在这里分享给大家。
文本自动摘要是利用计算机通过各种方法对文本或文本集中能够准确反映原文中心内容的重要信息进行抽取、总结。信息的快速增长使得人们面临信息过载的困扰，面对海量信息往往无法从中快速准确地获取所需信息，而文本自动摘要技术能有效地解决此类问题，利用它可以帮助人们快速有效地从网络上获取高质量的所需信息。目前的文本自动摘要技术生成的摘要质量还有所欠缺，因而如何有效地利用自动文摘技术提取文本摘要是本文的主要研究内容
Rouge的全名是Recall-Oriented Understudy for Gisting Evaluation，单看名字就会发现Rouge是由召回率演变而来的指标，用于衡量模型生成摘要文本的质量。我们常说的Rouge其实是一组评价指标的统称，包含Rouge-N, Rouge-L, Rouge-W, Rouge-S四个指标，它们的计算方式和适用场景有所不同。本文首先介绍了它们各自的适用场景和计
本文重温经典，从生成式摘要的开篇之作起，讲解四篇经典论文和它们的相关文献。这四篇论文奠定了生成式摘要技术的发展基础，探讨了摘要的本质问题，为后来的研究提供启示。所谓“了解走过的路，才能更好地往前看”，正是本文的初衷，学习经典论文，思考创新点。
在 SimCLS [2]论文发布后不久，作者又发布了抽象文本摘要任务的SOTA结果 [1]。BRIO在上述论文的基础上结合了对比学习范式。BRIO解决什么问题？上图显示 seq2seq 架构中使用的传统 MLE 损失与无参考对比损失之间的差异。我们通常使用最大似然估计(Maximum Likelihood Estimation, MLE)损失来训练序列模型。但是论文认为我们使用的损失函数将把一个本
本文将逐渐介绍近两年关于生成扩散模型的一些进展。据说生成扩散模型以数学复杂闻名，似乎比VAE、GAN要难理解得多，是否真的如此？扩散模型真的做不到一个“大白话”的理解？让我们拭目以待。
本文介绍了T5模型的多国语言版mT5及其变种T5-Pegasus，以及T5-Pegasus如何做到更好地适用于中文生成，并介绍它在中文摘要任务中的实践。
1、准备数据训练自己的模型首先要有数据集，在我写的《paddleocr文本检测模型的训练》这篇文章的时候我已经提供了一份数据集，里面包含了文本检测和识别的数据集，由于那篇文章是文本检测的训练，所以只用到了文本检测的数据集，这里我用的是文本识别的数据集，有需要数据的可以去那篇文章里面找数据。文章链接。让我们来直观的感受一下数据集，数据集照片的图片如下所示：数据的标签如下图所示，就是每行的前面是图片的
本文中将介绍一个流行的机器学习项目——文本生成器，你将了解如何构建文本生成器，并了解如何实现马尔可夫链以实现更快的预测模型。文本生成在各个行业都很受欢迎，特别是在移动、应用和数据科学领域。甚至新闻界也使用文本生成来辅助写作过程。在日常生活中都会接触到一些文本生成技术，文本补全、搜索建议，Smart Compose，聊天机器人都是应用的例子，本文将使用马尔可夫链构建一个文本生成器。这将是一个基于字符
问题描述基于Seq2seq模型来实现文本生成的模型，输入可以为一段已知的金庸小说段落，来生成新的段落并做分析。实验原理Seq2SeqSeq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。如下图所，输入的中文长度为4，输出的英文长度为2。在网络结构中，输入一个中文
一、Bert 模型BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成
语义相似度的两个方面：召回和排序。在召回时，传统的文本相似性如 BM25，无法有效发现语义类 query-Doc 结果对，DSSM（Deep Structured Semantic Models）为计算语义相似度提供了一种思路。DSSM既可以用来预测两个句子的语义相似度，又可以获得某句子的低纬语义向量表达。...
文章目录搜索相关性定义字面相关性语义相关性1 传统语义相关性模型2 深度语义相关性模型基于表示的匹配sentence representation基于交互的匹配sentence interaction两种方法的优缺点比较基于Bert的语义相关性建模1 基于表示的语义匹配——Feature-based思想缺点：2 基于交互的语义匹配——Finetune—basd3 基于BERT优化美团搜索核心排序相
对于 Bert 来说，用于文本分类是最常见的，并且准确率也很高。本文将会对 bert 用于文本分类来做详细的介绍。
前段时间找到了Cemotion这个NLP第三方库，发现它准确率高的惊人，Cemotion算法的优点在于准确率高、调用方便，缺点是运行较慢（相比其他NPL算法）、环境配置（自动安装TensorFlow环境，对python版本有要求）目录前言一、Cemotion库的安装1.Pycharm安装法2.pip安装方法二、验证Cemotion情感分析准确率1.加载库并实例化2.读取评论文本数据3.进行Cemo
课程连接：GPT，GPT-2，GPT-3 论文精读【论文精读】本文混合课程内容及自己的思考，若有理解有误的地方请指正，谢谢！开篇介绍GPT-3有很多应用，比如github copilota，可以根据注释来生成代码论文时间轴GPT论文解读Improving Language Understanding by Generative Pre-Training, OpenAI摘要GPT是把计算机视觉成熟
GPT系列：生成式预训练与零样本学习
GPT三部曲（GPT、GTP2、GPT3）引言这是某次武汉大学三行情书的第一名的英文版（机翻凑合看）The crab is peeling my shell, the notebook is writing me.The sky is full of me falling on the snowflakes on the maple leaves.And you are missing me.原文
文本生成一直是NLP领域内研究特别活跃的一个任务，应用前景特别广泛。BERT类预训练模型基于MLM，融合了双向上下文信息，不是天然匹配文本生成类任务（也有针对BERT模型进行改进的多种方式完善了BERT的这个缺点，如UniLM）。openAI的GPT-2模型天然适合文本生成类任务，因此使用GPT-2模型来完成中文新闻文本生成任务。数据集数据集是THUCnews的，清华大学根据新浪新闻RSS订阅..
前言2021年诺贝尔生理学、医学奖揭晓，获奖者是戴维·朱利叶斯（DavidJulius）和阿代姆·帕塔博蒂安（Ardem Patapoutian），表彰他们在“发现温度和触觉感受器”方面作...
自然语言处理（Natural Language Processing，NLP）是AI的一个领域，旨在让计算机理解和使用人类语言，从而执行有用的任务。自然语言处理又划分为两个部分：自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation，NLG）。近年来，AI改变了机器与人类的互动方式。AI可以帮助人类
本文介绍了一项研究工作，提出了在结构预测问题上自动拼接word embedding（word embedding）以提高模型准确度的方法。该论文已被ACL2021接收为长文。
本文介绍了阿里达摩院开源在魔搭社区上的CLUE语义匹配模型及其使用教程，通过简单的模型融合策略，可以获得不错的结果。
之前的实体链接方法面临着在不知道相应实体的情况下不得不预测提及的困境。这篇论文提出了 EntQA，它通过“先预测候选实体然后找到它们在文本中的具体提及“来解决这个难题。EntQA解决方案的提出充分地将文本检索和阅读理解方面的最新研究进展利用到了实体链接任务当中，这其实是如今NLP各任务间范式迁移的又一成功范例。
在本文中，我们提出检索使用相似样本来提升垂直领域NER性能，以及 Entity-Voting 和 Cross-Encoder 两个简单的相似样本建模方法，在 地址 和 电商 两个特殊领域上的实验验证了方法的有效性。
自然语言处理
——自然语言处理
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
ModelScope魔塔社区
