User class threw exception: org.apache.spark.SparkException: Task not serializableat org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)at org.apache.spark.util.Closu...

提交spark程序后报如下错误Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 90 tasks (1025.7 MB) is bigger than spark.driver.maxResultSize (1024.0.

在idea上运行spark程序，需要配置部分如下点击run->Edit configurationVM options 配置的是配置参数，规定了spark运行的一些配置program arguments 配置的是输入的参数，要注意的是，输入变量和对应的值之间用空格分开，并且值不需要用引号括起来...

现象mac终端下可以使用conda环境，VS终端下输入python启动的是自带的py2解决办法打开全局setting.json(不是.vscode下的那个）添加如下（path后面为空str）"terminal.integrated.env.osx": {"PATH":""}保存重启即可...

Neural Collaborative Filteringpaper关于协同过滤协同过滤简而言之就是物以类聚人以群分，在真实场景中，通常会获得一张用户物品交互表，其实就是一个矩阵M，M[i][j]=1M[i][j]=1M[i][j]=1则表示用户iii购买了物品jjj，=0=0=0表示没有购买。主要分为以下两种：user-based协同过滤...

Neural Collaborative Filteringpaper关于协同过滤协同过滤简而言之就是物以类聚人以群分，在真实场景中，通常会获得一张用户物品交互表，其实就是一个矩阵M，M[i][j]=1M[i][j]=1M[i][j]=1则表示用户iii购买了物品jjj，=0=0=0表示没有购买。主要分为以下两种：user-based协同过滤...

HDFS写数据流程客户端将数据写入HDFS的流程图如下：流程如下：使用HDFS提供的客户端Client， 向远程的Namenode发起RPC请求Namenode会检查要创建的文件是否已经存在， 创建者是否有权限进行操作， 成功则会为文件创建一个记录， 否则会让客户端抛出异常；当客户端开始写入文件的时候， 客户端会将文件切分成多个packets， 并在内部以数据队列“dat...

初始参数随机，用不同的初始参数进行多组实验找出最优的一组解，这相当于从不同的位置进行搜索带动量的梯度下降，可能会越过最低点随机梯度下降，加入随机因素，每次取一个样本计算梯度，因为单点的最优方向可能不是全局的最优方向，表现在图像上就是在寻找全局最优的路上饶了很多弯路才到达最优点。使用模拟退火算法，每次以一定的概率允许移动到比当前解差的点，可以跳过局部最优...

由上一篇博客我们推倒出Xgboost 目标函数（损失函数）的表达形式为其实际意义表示按照特定分裂点（即按照某种树的结构）分裂后产生的损失值其中IjI_{j}Ij​表示被分到第j个叶子节点的样本这样，我们可以得到样本III依据某个特征值分裂后的损失函数的减小值Lsplit\mathcal{L}_{s p l i t}Lsplit​，将其作为分裂时的依据。其中：IL和IRI_{L}...

最近做比赛的特征工程时，经常用到表的合并，对上述三种操作总是不是熟练的使用，弄不清其中的区别与联系。所以花点时间弄清他们。merge操作merge通过一个或者多个键将两张表合并在一起，api如下merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,...