logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

NLP: SBERT介绍及sentence-transformers库的使用

bi-encoder是一种独立编码方式,即输入的两个文本会被分别编码为独立的向量,然后通过计算这两个向量的相似度来判断文本之间的关系。Sentence-BERT(简写SBERT)模型是BERT模型最有趣的变体之一,通过扩展预训练的BERT模型来获得固定长度的句子特征,主要用于句子对分类、计算两个句子之间的相似度任务。三元组网络架构的SBERT模型的任务计算出一个特征,使锚定句和正向句之间的相似度高

#自然语言处理#人工智能
区块链:可验证随机函数

可验证随机函数(Verifiable Random Function,VRF)本质上还是一类具有验证功能的伪随机函数。对于一个特定的输入mmm以及输入者的私钥SKSKSK,VRF会输出一个随机数resultresultresult以及一个证明proofproofproof,验证者可以通过输出的随机数、证明和输入这三部分验证出随机数是否由该输入产生。在这个过程中,不必暴露输入者的私钥。

文章图片
#区块链
区块链:对称加密、非对称加密和数字签名

对称加密,指的是信息发送者和接收者通过使用的相同的密钥来完成数据的加密和解密。常用的对称加密算法有:AES、DES、3DES等。非对称加密,主要是依据一组唯一性的密钥完成,即公开密钥和私有密钥。两个密钥之间存在数学关联性,信息发送者使用公钥对数据进行加密后,接收者只可以通过对应的私钥进行解密。在非对称加密中,信息收、发者之间无需进行密钥交换。常用的非加密算法主要有:RSA算法、Diffie-Hel

#区块链
MAC+Anaconda+Pyspark安装配置

到Apark Spark官网上下载Spark文件,无论是windows系统,还是MAC系统,亦或者Linux系统,都可以下载这个文件(独立于系统)。

#自然语言处理#概率论
Pyspark:特征处理(ml.feature包的使用)

ml.feature于分类变量映射有关的类主要有:VectorIndexer、StringIndexer和IndexToString类。ml.feature包中常用归一化的类主要有:MaxAbsScaler、MinMaxScaler、StandardScaler、RobustScaler和Normalizer。除了以上介绍的类之外,ml.feature包中还有其他方法。结合以上对OneHotEnc

正则表达式:零宽断言

  当使用正则表达式搜索内容时,如果需要捕获的内容前后必须是特定内容,但又不捕获这些特定内容的时候,这个时候就可以使用零宽断言。 1.基本概念   零宽断言是一种零宽度的匹配,它匹配到的内容不会保存到匹配结果中去,最终匹配结果只是一个位置而已。   正则表达式中常用的断言元字符为:^和$和\b,而零宽断言就是其他用正则表达式来定义的功能类似的断言。这意味着它们只检查某个位置前后是否符合条件,而不会

#正则表达式#前端#后端
正则表达式(一):位置匹配及重复匹配

无论是编程语言,比如Python,还是SQL,比如Hive和MySQL都提供了正则表达式用于数据及文本字符串的过滤和匹配。正则表达式不是一种完备的程序设计语言。但在绝大多数的软件产品、编程语言、实用工具和开发环境中,正则表达式都已经被实现。正则表达式的使用方法和具体功能在不同的应用程序和语言中各不相同。具体在使用时,还需要具体去查手册。1.原理正则表达式的底层原理是两类自动机:确定型有穷自...

#正则表达式
Scala for Eclipse安装配置及spark开发环境搭建

题外话:首先只是因为不想使用scala常用的IDE开发环境,所以就使用Eclipse来搭建scala运行平台。搭建过程比较波折,所以想把详细的搭建过程记录下来。1.Scala安装Scala下载安装地址:https://www.scala-lang.org/download/。直接滑动到网页最下面,下载对应的系统的文件解压就可以了。之后需要配置scala环境变量。这里我是把scal...

EM算法推导--三硬币模型推导过程

本篇博客主要介绍李航《统计学习方法(第2版)》中讲解EM算法涉及到的三硬币模型案例,原文中该模型的推导过程被省略了。

#算法#概率论#机器学习
机器学习:XGBoost算法

  XGBoost(eXtreme Gradient Boosting)是Gradient Boosting框架下的一种高效能实现。

    共 71 条
  • 1
  • 2
  • 3
  • 8
  • 请选择