logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SBT安装及命令行打包spark程序

该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。在上面的配置信息中,scalaVersion用来指定scala的版本,sparkcore用来指定spark的版本,这两个版本信息都可以在之前的启动 Spark shell 的过程中,从屏

#spark#scala#大数据
Linux下如何通过一行命令查找并杀掉进程

一个个的杀掉进程,可能会比较麻烦,且耗时长。的进程行,然后再杀掉剩下的进程即可,这个可以通过 grep -v grep。出现这个错误,是因为我们通过 ps -ef | grep flask。查找到的所有 flask 进程中,有一条是包含 grep。在Linux下,通常我们要杀掉某些进程,一般是先用 ps。命令查找出对应的进程号,然后再用 kill。在这个时候,如果使用 kill -9 进程号。因此

文章图片
#linux#运维
热点分析 (Getis-Ord Gi*) 的工作原理

工具可对数据集中的每一个要素计算 Getis-Ord Gi* 统计(称为 G-i-星号)。通过得到的,您可以知道高值或低值要素在空间上发生聚类的位置。此工具的工作方式为:查看邻近要素环境中的每一个要素。高值要素往往容易引起注意,但可能不是具有显著统计学意义的热点。要成为具有显著统计需意义的热点,要素应具有高值,且被其他同样具有高值的要素所包围。某个要素及其相邻要素的局部总和将与所有要素的总和进行比

#arcgis
非常全面的谱聚类算法原理总结

谱聚类算法是目前最流行的聚类算法之一,其性能及适用场景优于传统的聚类算法如k-均值算法,本文对谱聚类算法进行了详细总结,内容主要参考论文《A Tutorial on Spectral Clustering》,下载链接:https://github.com/zhangleiszu/machineLearning,若对谱聚类算法有不理解的地方,欢迎交流。目录1. 谱聚类模型的优化思想2. 图的表示方法

文章图片
#聚类#算法#机器学习
关于sql中的空值null及处理

在mysql中认为null在排序时为最小值,即ASC排序时在最前面,DESC排序时在最后,oracle中认为null在排序时为最大值,即ASC排序时在最后面,DESC排序时在最前,mysql中可采用以下方法转换null为最大值(未穷举)。但是coalesce还可以加很多参数,返回第一个非空参数,例如coalesce(null,null,4,null,3,1)会返回4。注意:如果coalesce()

#sql
postgresql 执行sql文件

进入database testdb 也可以用 psql -p 5432 testdb。# \i后跟sql文件路径,比如/pathA/xxx.sql。testdb-# 为等待输入状态。postgresql运行sql脚本有3种方式。3. pgadmin4界面管理工具。# 查看所有database。2.通过psql,运行sql脚本。# 切换到postgres用户。# 查看所有表 \d+# 查看test表

#postgresql#sql#数据库
Docker容器与宿主机相互拷贝文件

示例: 假设容器名为testtomcat,要从容器里面拷贝的文件路为:/usr/local/tomcat/webapps/test/js/test.js,现在要将test.js从容器里面拷到宿主机的/opt路径下面,那么命令应该怎么写呢?示例:假设容器名为testtomcat,现在要将宿主机/opt/test.js文件拷贝到容器里面的/usr/local/tomcat/webapps/test/j

#docker#容器
python 利用time模块给程序计时

这个需要注意,在不同的系统上含义不同。在UNIX系统上,它返回的是"进程时间",它是用秒表示的浮点数(时间戳)。而在WINDOWS中,第一次调用,返回的是进程运行的实际时间。1毫秒=1000微秒)作为浮点数,即具有最高可用分辨率的时钟,以测量短持续时间。建议PC上使用time.perf_counter() 来计算程序的运算时间,特别是测试算法在相邻两帧的处理时间,如果计算不准确,那可能会对算法的速

#python
【理论+案例实战】Python数据分析之逻辑回归(logistic regression)

简介: 逻辑回归是分类当中极为常用的手段,它属于概率型非线性回归,分为二分类和多分类的回归模型。对于二分类的logistic回归,因变量y只有“是”和“否”两个取值,记为1和0。假设在自变量x1,x2,……,xp,作用下,y取“是”的概率是p,则取“否”的概率是1-p。逻辑回归是分类当中极为常用的手段,它属于概率型非线性回归,分为二分类和多分类的回归模型。对于二分类的logistic回归,因变量y

#数据分析#python#逻辑回归 +1
Python初学日记|报错TypeError: only size-1 arrays can be converted to Python scalars的一种可能

前言在做一个使用matplotlib画函数图像的作业的时候遇到了一个问题。如题所示的报错让我纳闷了很久。然而在一个随意的更改之后竟然解决了问题,于是我稍微探究了一下问题所在。问题的出现我的报错代码如下:import matplotlib.pyplot as pltfrom numpy import*from math import*plt.figure(figsize=(6,6))wh=hh=6/

文章图片
#python#开发语言#后端 +1
    共 11 条
  • 1
  • 2
  • 请选择