logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用paddle ernie预训练模型进行中文文本分类代码

使用paddle的预训练模型ernie进行中文文本二分类的代码实现包括:模型训练、模型预测、动静图模型转化、模型的部署和上线预测

文章图片
#paddle#分类#python
sparkSql的炸裂函数 explode

炸裂:将一行数据,炸裂为多行, 也就是“列转行”例如:hive的订单表中order_table有一个字段item_list,是一个列表结构的array<struct<item_id:string,item_sku_id:string,price:double,quantity:bigint,title:string>>item_list中有多个商品信息,每个商品信息是一个结

sparkSession的常见配置参数

lazy val spark = SparkSession.builder.appName(taskName).config("hive.exec.dynamic.partition", "true").config("hive.exec.dynamic.partition.mode", "nonstrict").config("spark.sql.broadcastTimeout", 3000)

#hive#spark
LR什么时候要进行特征选择,什么时候不用特征选择?

LR使用gbdt的衍生特征效果如何?什么时候使用组合特征?1、LR算法对高维稀疏矩阵具有鲁棒性,因此LR的正则化参数,会将区分度较弱的特征赋一个较小的权重,另外,当特征维度较高时,大量维度特征的权重也较小,使得最终得到的模型具有较强的鲁棒性。2、但是当样本量较小,尤其是特征的维度大于样本时,LR算法会受到无关特征的干扰,使得模型过拟合。因此,当样本量较少时,需要进行特征选择因此,是否要进行特...

排序算法 常见的面试题

排序算法常见的面试题文章目录找出前m个最大的数给定两个排序好的子数组,求出前m个最大的数找出第k大的数找出前m个最大的数思路:取前m个数,构建一个大小为m的小顶堆;从第m+1个数开始arr[j],跟堆顶元素比较,如果arr[j]大于堆顶元素,则将该元素跟堆顶元素做替换,调整堆,直到遍历到最后一个元素,最终的小顶堆中的元素就是结果def heapify(arr, i, m):#调整小顶堆smalle

#算法
python 如何定义抽象类和抽象方法

文章目录(一)python 如何定义抽象类和抽象方法(二)python中的多态(三)类的组合(一)python 如何定义抽象类和抽象方法在python中类 通过继承metaclass = ABCmeta类来创建抽象类,抽象类是包含抽象方法的类,其中ABCmeta类(Metaclass for defining abstact baseclasses,抽象基类的元类)是所有抽象类的基类。定义了...

python 字典与json的区别

python 字典与json的区别一. python的字典和json字符串的区别python中,json和dict非常类似,都是key-value的形式,而且json和dict也可以非常方便的通过dumps和loads互转,但是它们之间还是有区别的:json:是一种数据格式,是纯字符串。可以被解析成python的dict或其他形式。dict:是一个完整的数据结构,是对hash table这...

python ahocorasick介绍

python ahocorasick介绍ahocorasick模块介绍ahocorasick是个python模块,Aho-Corasick算法是多模式匹配中的经典算法,目前在实际应用中较多。由两种数据结构实现:trie和Aho-Corasick自动机,简称AC自动机 。多模式匹配:多模式匹配就是有多个模式串P1,P2,P3…,Pm,求出所有这些模式串在连续文本T1…n中的所有可能出现的位...

到底了