logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[NLP]OpenNLP命名实体识别(NameFinder)的使用

目录Name Finder模型训练命名识别Name Finder命名查找器可以检测文本中的命名实体和数字。为了能够检测到实体,命名查找器需要一个模型。模型依赖于它被训练的语言和实体类型。OpenNLP项目提供了许多预先培训过的名字查找模型,这些模型在各种免费的语料库上进行了培训。它们可以在我们的模型下载页面下载。要在原始文本中查找名称,必须将文本分成标记和句子。默认情况下,输入的训练数据中每行一个

#自然语言处理#nlp#机器学习
[机器学习]朴素贝叶斯原理和基于Spark 实例

朴素贝叶斯分类贝叶斯原理的由来:贝叶斯为了解决一个叫“逆向概率”问题写了一篇文章,尝试解答在缺乏太多可靠证据的情况下,怎样做出更符合数学逻辑的推测。逆向概率:逆向概率是相对正向概率而言。正向概率的问题很容易理解,比如我们已经知道袋子里面有 N 个球,不是黑球就是白球,其中 M 个是黑球,那么把手伸进去摸一个球,就能知道摸出黑球的概率是多少。这是在了解了事情的全貌再做判断。在现实生活中,我们很难知道

#spark
[neo4j]介绍4个开源的知识图谱项目

项目主要介绍几个开源项目:QASystemOnMedicalKG:医疗知识图谱问答https://github.com/liuhuanyong/QASystemOnMedicalKGAgriculture_KnowledgeGraph:农业知识图谱Financial-Knowledge-Graphs:小型金融知识图谱stock-knowledge-graph:小型的证券知识图谱https://gi

#neo4j#知识图谱#人工智能
【AI】模型训练中,怎么确定训练的结果偏差是因为数据引起还是训练参数引起?

尝试减小批次大小(如从 256 降到 32),观察模型是否收敛更快。:统计像素/特征值的分布(如均值、方差),检查是否存在异常值或缺失值。训练损失不下降:可能特征与标签无关,或数据预处理错误(如未归一化)。:增加层数或参数量,若训练集表现提升,则原模型可能过于简单。若简单模型也表现差,则数据可能存在问题(如特征与标签无关)。若验证集表现提升,则原问题可能因欠正则化导致过拟合。:关闭数据增强(如随机

#人工智能
[深度学习]什么叫梯度学习

1.梯度下降的定义梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解无约束优化问题,如机器学习算法的模型参数,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机

#深度学习#人工智能
[AI]怎么计算中文被bert模型切分的tokens数量

在BERT模型中,计算中文文本的Token数需要根据具体的中文BERT分词器(Tokenizer)来处理

#人工智能#自然语言处理
[深度学习]什么叫梯度学习

1.梯度下降的定义梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解无约束优化问题,如机器学习算法的模型参数,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机

#深度学习#人工智能
[机器学习]关联挖掘算法Apriori和FP-Growth以及基于Spark 实例

目录Apriori 算法FP-Growth算法算法原理步骤1 统计各个商品被购买的频次步骤2 构建FP树步骤3 频繁项的挖掘阅读本文需要了解关联挖掘的基本知识,了解关联挖掘的基本原理,参考《[机器学习]关联挖掘介绍》。Apriori 算法Apriori算法就是根据有关频繁项集特性的先验知识而命名的。它使用一种称作逐层搜索的迭代方法,k-项集用于探索(k+1)-项集。首先,找出频繁1-项集的集合.记

#spark#机器学习
[机器学习]机器学习常用的模型评估方法

目录混淆矩阵正确率精确率召回率灵敏度伪阳性率特异度P-R曲线:F1-值ROC曲线AUC面积均方误差均方根误差平均绝对误差混淆矩阵实际值\预测值预测值PositiveNegative实际值PositiveTPFNNegativeFP

#机器学习#深度学习
    共 26 条
  • 1
  • 2
  • 3
  • 请选择