logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark程序——统计包含字符a或者b的行数

本篇分析一个spark例子程序。程序实现的功能是:分别统计包含字符a、b的行数。java源码如下:package sparkTest;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS

#spark
hadoop namenode启动不了解决方案

hadoop集群启动namenode时,用jps查看datanode没有启动。原因分析:由于在core-site.xml,hdfs-site.xml文件中,我没有设置如下内容。core-site.xml内容如下:hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbase for other temporary directories.

#hadoop
python依赖包numpy、scipy、scikit-learn运行冲突解决方案

在运行python的decision tree时,由于.py文件开头引入了sklearn包(见下表),导致运行错误。import numpy as npimport scipy as spfrom sklearn import treefrom sklearn.metrics import precision_recall_curvefrom sklearn.metrics impor

#numpy#python#sklearn
到底了