本文是一个记录文，主要是参考网上的资料Spark任务一直停在某个Stage不动问题背景pyspark 在保存数据时，在最后4-5个stage 任务卡住不动，其他stage 10几分钟完成，这几个2h也没用完成，而且在sparkUI上面发现需要处理的数据0KB，实在是郁闷啊。网上查找资料如下，链接如上：分析主要是使用了spark 的推断执行机制，缺点开始推断执行，会启动多个ta...

pyspark.sqlsplit 特殊字符 *sql = """selectsplit(flag,"\\*") as flagfrom tableA"""s = sqlContex

排序指标NDCG(Normalized distributed cumulative gain)归一化累积折扣信息增益值：用于衡量排序质量逐步介绍 CG->DCG->NDGCCG:衡量推荐结果的相关度在NDCG中，相关度分成从0到r+1的等级（r是可设定的）：相关度可以自己定义,

pyspark 中去重操作distinctrdd、dataframe 均可使用按照某一列进行去重1 使用reduceByKeyrdd 使用例子：对x[0] 进行去重，将x[0]作为key，其余作为value，（x[0],v）,使用 reduceByKey(lambda x,y:x) 即可2 使用dropDuplicates（drop_duplicates）dat...

GCN 及其变种图网络 主要是处理图信息 ，相比其他数据结构的数据，图网络考虑了节点之间的连接关系，因此具备更加丰富的信息。相比于CNN ,介绍了大量图的卷积操作，图的时域与空域的变换，主要借助拉普拉斯矩阵分解，频率为拉普拉斯矩阵的特征值，特征向量为基函数。图的卷积变换 可以变为频域上面的乘积。图滤波 与图卷积的操作一致，图滤波器为图上的特征提取器。图神经网络 wx 使用的是 特征变换 Lw*x