logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

C语言学习环境搭建

eclipse gcc g++环境搭建?注前提安装好的JDK eclipse1 打开eclipse -> help -> eclipse markatplace搜索 cdt选择 eclipse c\c++ ide cdt ** 安装2 安装 MinGWhttp://sourceforge.net/projects/mingw/?source=directory

#c语言#ide#编辑器 +1
spark sql 入门操作

aggregate 聚合sc = SparkContext(conf = conf)l1 = [1,2,3,4,5,6,7,8,9]rdd1 = sc.parallelize(l1,2)rdd1.aggregate(8,max,lambda a,b:a+b) ##结果25rdd2 = sc.parallelize(list('abcdefg'),2)rdd2.aggregate('',lam

spark 集群启动后,worker 节点worker 进程一段时间后自动结束

1 启动环境:启动hdfs: ./sbin/start-dfs.sh (hadoop 目录)启动spark集群:./sbin/start-all.sh (在spark目录下)检查是否启动:查看各节点折datanode Worker 进程是否启动了2 遇到的问题:各节点中的worker进程启动,spark UI 管理界面显示却只有master 启动,worker 节点都显示,过一会儿,work

#spark#hadoop
hue4.3 + cnetOS7 安装与配置

1下载包:hue-4.3.0.tgz 并解压/opt/hue2安装依赖:需要联网虚拟机需要配置nat 详情参考yum -y install antyum -y install asciidocyum -y install cyrus-sasl-develyum -y install cyrus-sasl-gssapiyum -y install gccyum -y ...

#hive#hadoop
anaconda 在linux(centos7) 下的安装(虚拟机离线情况下)

1 软件下载:anaconda:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/bzip2: http://www.bzip.org/downloads.html (如果linux 已经安装bzip2,则不用安装 )2安装1 安装bzip2(如果已经安装则不用这一步,在命令行输入bunzip2检测)tar -zxfbzip2

#centos#linux
到底了