对于一个算法的产生，一般肯定是为了解决其之前的算法没有解决的问题。所以如果要说一个算法的由来或者优点，肯定是跟它同类型（解决相同的任务），且比他早的里程碑的算法对比。LSTM是NLP中比较经典的算法，在百科里的介绍是：长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN

目录一、二分类评价指标1、真实标签-预测标签的混淆矩阵2、accuracy3、precision、recall和F1-score4、指标的选择问题二、多分类评价指标1、macro-F12、weight-F13、micro-F14、指标的选择问题注：这篇文章只是对常用的分类问题中的评价指标的总结。一、二分类评价指标1、真实标签-预测标签的混淆矩阵样本被预测为正样本被预测为负实际样本为正TP（true

本文是在实际处理文本时遇到的两个应用。1、剔除括号及括号内的数据用正则匹配的方法，替换掉目标字符串为空，具体示例如下：s = "我是一个人(中国人)aaa[真的]bbbb{确定}"a = re.sub(r"\((.*?)\)|\{(.*?)\}|\[(.*?)\]", "", s)print(a)output：我是一个人aaabbbb加上剔除文本中的各种标点符号，例子如下：s = "我是一个人(中

Python打印和保存log的主要作用是，在我们没空盯着程序运行时，可以在程序或者结果出错的时候根据log文件中的日志信息找出问题所在。在Python中一般用logging这个自带库来做log的屏幕打印和文件保存，关于logging中信息等级的设置可以参考这篇文章：https://www.cnblogs.com/nancyzhu/p/8551506.html从自己所用和上面链接可以总结出，logg

1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：from pyspark.sql import HiveContext,SparkSession_SPARK_HOST = "sp...

目录1. 模型输入2. 网络结构2.1 Self-Attention Layer2.2 Layer Normalization3. 模型预训练3.1 训练任务3.2 模型训练设置4. 总结4.1 模型特点4.2 可优化空间5. Reference1. 模型输入在BERT中，输入的向量是由三种不同的embedding求和而成，分别是：wordpiece embedding：单词本身的向量表示。Wor

目录1、生成一个dataframe2、写到csv文件3、读取csv文件4、总结1、生成一个dataframe（1）自己不设置index，程序自动生成indexdata = {'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],'age': [2.5, 3, 0.5, np.nan,

目录1. 模型输入2. 网络结构2.1 Self-Attention Layer2.2 Layer Normalization3. 模型预训练3.1 训练任务3.2 模型训练设置4. 总结4.1 模型特点4.2 可优化空间5. Reference1. 模型输入在BERT中，输入的向量是由三种不同的embedding求和而成，分别是：wordpiece embedding：单词本身的向量表示。Wor

一 . git的安装和配置1、首先是安装git，这个很简单（Windows）2、其次是在git bash中给git配置环境git config --global user.name = "username"(自己设置的名字)git config --global user.email =="xxx@aaa.com" （有效邮箱）（这里的配置...

elasticsearch 库pip installelasticsearchfrom elasticsearch import ElasticsearchES_CONF = {"host": "192.168.11.22","port": 9200,"user": "elastic","passwd": "1234"}index = "test_index"def process_func():