logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【Pyspark】在jupyter中运行pyspark,且为yarn-client模式

1. 预备操作已经有的环境包括:spark 2.4.5 集群anaconda虚拟环境python3.7 (由于集群spark环境为2.4.5,python版本必须<3.8)配置好$SPARK_HOME、$JAVA_HOME 环境变量2. 本次操作命令行操作:# 查看并进入相应虚拟环境conda info --envsconda deactivateconda activate caret#

#jupyter#spark#ide
【Hive】计算分位数

hive中有两个函数可以用来计算分位数:percentile和percentile_approx具体使用方如下:(1)percentile:percentile(col, p)col是要计算的列(值必须为int类型),p的取值为0-1,若为0.5,那么就是2分位数,即中位数。(2)percentile_approx:percentile_approx(col, p)。列为数值类型都可以。perce

文章图片
#hive#hadoop#数据仓库
【DGL】定义邻居采样器和数据加载器

6.1 Training GNN for Node Classification with Neighborhood Samplinghttps://docs.dgl.ai/en/0.6.x/guide/minibatch-node.html#guide-minibatch-node-classification-samplerDGL提供了几个邻居采样类,这些类会生成需计算的节点在每一层计算时所需

#python
pandas日期列读取成日期格式

read_cav的时候加一个参数:parse_dates = ['date'],就会把date这一列自动转化为日期格式,例如:import pandas as pddata = pd.read_csv('test.csv',parse_dates = ['date'])如果原来读取进来日期格式为 “2018-05-09 10:43:52”, 想把该日期变为 “20180...

【Pytorch】OSError: libc10_cuda.so: cannot open shared object file: No such file or directory

摘自https://githubhot.com/repo/rusty1s/pytorch_geometric/issues/3904https://githubhot.com/repo/rusty1s/pytorch_geometric/issues/3904It looks like you have installed PyTorch with CUDA support (there exis

#python
keras之preprocessing.sequence.pad_sequences

学自python函数—序列预处理pad_sequences()序列填充

#深度学习
【算法】狄利克雷过程 (Dirichlet过程)

本文是徐亦达机器学习:Dirichlet Process 狄利克雷过程的笔记。Bayesian Non Parametric有一些点(二维数据)是从高斯混合模型中产生的,那它到底有几个混合呢?即它的k是多少呢?(k参考高斯混合模型Gaussian Mixture Model)......

#算法
【Word】首行调整段前距无效

很小的问题,如题,如图找到了大神给的正确解法:点击打开链接

【Python】「argparse基本用法」及「jupyter中使用 args = parser.parse_args()并传参」

【argparse基本用法】及【jupyter中使用 args = parser.parse_args()并传参】

文章图片
#python
linux vim 查找或替换空格

出处 https://blog.csdn.net/zj420964597/article/details/80901708 1.      匹配1到多个空格 /\s\+2.      替换一个或多个空格,替换为逗号,:%s/\s\+/,/g3.      替换一个或多个空格,替换为换行符:%s/\s\+/\r/g简单解释一下:%s :在整个文件范围查找替换(...

#vim
    共 12 条
  • 1
  • 2
  • 请选择