logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

链式法则:概率论描述语言模型

其中:P(a, b)表示 a和b事件同时发生的概率, P(a | b)是一个条件概率,表示在b事件发生的条件下,a发生的概率。所有的事件,只与它们的父节点有依赖关系,其中,E只和B有关,B只和AC有关,D只与C有关,A和C不依赖其他任何事件。假设有事件ABCDE,它们之间的关系如下,求ABCDE同时发生的概率 P(A, B, C, D, E) 是多少?其中:P(a | b, c)表示在b和c事件都

文章图片
#概率论#语言模型#人工智能 +1
自然语言处理学习笔记(八)———— 准确率

准确率是用来衡量一个系统的准确程度的值,可以理解为一系列评测指标。当预测与答案的数量相等时,准确率指的是系统做出正确判断的次数除以总的测试次数。在中文分词任务中,一般使用在标准数据集上词语级别的精确率、召回率与F1值来衡量分词器的准确程度。这三个术语借用自信息检索与分类问题,常用来衡量搜索引擎和分类器的准确程度。

文章图片
#自然语言处理#学习#nlp
自然语言处理学习笔记(六)————字典树

字符串集合常用字典树存储,这是一种字符串上的树形数据结构。字典树中每条边都对应一个字,从根节点往下的路径构成一个个字符串。字典树并不直接在节点上存储字符串,而是将词语视作根节点到某节点之间的一条路径,并在终点节点上做个标记"该节点对应词语的结尾".字符串就是一条路径,要查询一个单词,只需顺着这条路径从根节点往下走。如果能走到特殊标记的节点,则说明该字符串在集合中,否则说明不存在。一个典型的字典树如

文章图片
#学习#nlp#自然语言处理 +1
Python语法:def __init__(self, value) -> None:

从而方便开发人员使用。->常常出现在python函数定义的函数名后面,为函数添加元数据,-> _Attr则表明函数返回的是一个外部可访问的类的私有变量。这里面,元数据表明了函数的返回值为int类型。这种写法通常是写在函数的函数名后面。

文章图片
#linux#运维#服务器 +1
Python爬虫学习笔记(八)————Phantomjs与Chrome handless

①是一个无界面的浏览器②支持页面元素查找,js的执行等③由于不进行css和gui渲染,运行效率要比真实的浏览器要快很多。

文章图片
#python#爬虫#selenium +1
自然语言处理学习笔记(五)————切分算法

完全切分的结果比较没有意义,我们更需要那种有意义的词语序列,而不是所有出现在词典中的单词所构成的链表。具体说来,就是在以某个下标为起点递增查词的过程中,优先输出更长的单词,这种规则被称为最长匹配算法。比较之后发现,双向最长匹配在2、3、5这3种情况下选择出了最好的结果,但在4号句子上选择了错误的结果,使得最终正确率3/6反而小于逆向最长匹配的4/6。第二句话就会产生误差了,我们是需要把“研究”提取

文章图片
#学习#自然语言处理#nlp
自然语言处理学习笔记(九)———— OVV Recall Rate与 IV Recall Rate

IV指的是“登录词”(InVocabulary),相应的IV Recall Rate 指的是词典中的词汇被正确召回的概率。连词典中的词汇都无法百分之百召回,说明词典分词的消歧能力不好。就算“商品”“和服”“服务”都在词典中,词典分词依然分不对“商品和服务”。OOV指的是“未登录词”(Out Of Vocabulary),或者俗称的“新词”,也即词典未收录的词汇。如何准确切分00V,乃至识别其语义,

文章图片
#自然语言处理#学习#python +1
自然语言处理学习笔记(十)———— 停用词过滤

汉语中有一类没有多少意义的词语,比如助词“的”、连词“以及”、副词“甚至”、语气词“吧”,称为停用词。停用词视具体任务的不同而不同,比如在网站系统中,一些非法的敏感词也视作停用词。因此,停用词过滤就是一个常见的预处理过程。在敏感词过滤的场景下,通常需要将敏感词替换为特殊字符串,如***,可以先分词在替换,也可以不分词直接利用接口查找敏感词并完成替换。分词结果:[停用,词,的,意义,相对而言,无关紧

文章图片
#自然语言处理#学习#人工智能
python中.npy文件转换为.txt或.csv文件

​二、 转换为csv文件。一、转换为txt文件。

文章图片
#python#开发语言
自然语言处理学习笔记(三)————HanLP安装与使用

第一次使用pyhanlp时,会自动下载许多hanlp的jar包(包含许多算法)和数据包(包含许多模型)到pyhanlp的系统路径中,大约六百多兆。[你好/vl, ,/w, 欢迎/v, 进入/v, nlp/nx, 的/ude1, 世界/n]wky右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >wkz左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ {

文章图片
#自然语言处理#nlp#python
    共 23 条
  • 1
  • 2
  • 3
  • 请选择