#!/usr/bin/env python# -*- coding: utf-8 -*-"""@Time: 2022/3/11 14:33@Author:@File: tf_ml_label.py@ desc:"""import platformimport mathimport tensorflow as tfimport timeimport osimport sysimport numpy

对于一个算法的产生，一般肯定是为了解决其之前的算法没有解决的问题。所以如果要说一个算法的由来或者优点，肯定是跟它同类型（解决相同的任务），且比他早的里程碑的算法对比。LSTM是NLP中比较经典的算法，在百科里的介绍是：长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN

分类一般分为三种情况：二分类、多分类和多标签分类。多标签分类比较直观的理解是，一个样本可以同时拥有几个类别标签，比如一首歌的标签可以是流行、轻快，一部电影的标签可以是动作、喜剧、搞笑，一本书的标签可以是经典、文学等，这都是多标签分类的情况。多标签分类的一个重要特点是样本的所有标签是不具有排他性的。在阅读了一篇类似综述总结的博客后，做了以下总结，主要是实现多标签分类的几种思想，以及在深度网络的背景下

目录一、二分类评价指标1、真实标签-预测标签的混淆矩阵2、accuracy3、precision、recall和F1-score4、指标的选择问题二、多分类评价指标1、macro-F12、weight-F13、micro-F14、指标的选择问题注：这篇文章只是对常用的分类问题中的评价指标的总结。一、二分类评价指标1、真实标签-预测标签的混淆矩阵样本被预测为正样本被预测为负实际样本为正TP（true

本文是在实际处理文本时遇到的两个应用。1、剔除括号及括号内的数据用正则匹配的方法，替换掉目标字符串为空，具体示例如下：s = "我是一个人(中国人)aaa[真的]bbbb{确定}"a = re.sub(r"\((.*?)\)|\{(.*?)\}|\[(.*?)\]", "", s)print(a)output：我是一个人aaabbbb加上剔除文本中的各种标点符号，例子如下：s = "我是一个人(中

Python打印和保存log的主要作用是，在我们没空盯着程序运行时，可以在程序或者结果出错的时候根据log文件中的日志信息找出问题所在。在Python中一般用logging这个自带库来做log的屏幕打印和文件保存，关于logging中信息等级的设置可以参考这篇文章：https://www.cnblogs.com/nancyzhu/p/8551506.html从自己所用和上面链接可以总结出，logg

亲测有效的方法：1、余弦相似性（cosine）（1）使用sklearn中的向量相似性的计算包，代码如下：这个函数的输入是n个长度相同的list或者array，函数的处理是计算这n个list两两之间的余弦相似性，最后生成的相似矩阵中的s[i][j]表示的是原来输入的矩阵中的第i行和第j行两个向量的相似性，所以生成的是n*n的相似性矩阵from sklearn.m...

1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：from pyspark.sql import HiveContext,SparkSession_SPARK_HOST = "sp...

目录1. 模型输入2. 网络结构2.1 Self-Attention Layer2.2 Layer Normalization3. 模型预训练3.1 训练任务3.2 模型训练设置4. 总结4.1 模型特点4.2 可优化空间5. Reference1. 模型输入在BERT中，输入的向量是由三种不同的embedding求和而成，分别是：wordpiece embedding：单词本身的向量表示。Wor

分类一般分为三种情况：二分类、多分类和多标签分类。多标签分类比较直观的理解是，一个样本可以同时拥有几个类别标签，比如一首歌的标签可以是流行、轻快，一部电影的标签可以是动作、喜剧、搞笑，一本书的标签可以是经典、文学等，这都是多标签分类的情况。多标签分类的一个重要特点是样本的所有标签是不具有排他性的。在阅读了一篇类似综述总结的博客后，做了以下总结，主要是实现多标签分类的几种思想，以及在深度网络的背景下