logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

运行spark——4.sbt打jar包

sbt 是 scala 的编译工具安装:curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.reposudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/sudo yum install sbt验证:(会等很长时间)root@hadoop01 ~]# sbtsbt...

#jar
3. pycharm配置pyspark

pycharm配置运行pyspark1. 安装pycharm2. 配置3. 测试  1. 安装pycharm官网下载pycharm:https://www.jetbrains.com/pycharm/下载 pycharm-community-2018.3.2.tar.gz解压:可以bash,也可以右键归档管理器提取此时进入bin目录 ./pycharm.sh...

#pycharm#spark#python
2. jupyter运行pyspark

使用anaconda的jupyter notebook来运行pyspark1. 安装anaconda(linux)2. 配置3. 本地模式运行pyspark4. yarn运行pyspark5. 遇到的问题 centos7默认python环境是2.7,我想要3.5的,使用anaconda配置python环境,anaconda还自带很多科学计算包,方便 1. 安...

#jupyter
django网页开发:5. 部署(apache+mod_wsgi)

必须安装的环境:python:3.6django:2.1.2(在部署时一直报500错误,最后发现是我犯了一个很低级的错误,没装django)(因为是从别的电脑拷贝来的,pycharm直接创建的Django项目,忽略了这一步) 如果部署到apache服务器:版本环境:apache:2.4mod_wsgi:要根据apache和python版本而定 参考:ht...

#django
linux命令简介

sudo su 进入root用户su hduser 进入hduser用户ll、ls 查看目录下文件 scp 跨服务器拷贝(虚拟机直接互传文件:在这个文件所在的文件夹打开终端   scp aaa.txt hadoop02:/etc/传文件夹:scp -r scala-2.12.2 hadoop02:/export/servers/scp -r scala-2.12...

VM虚拟机安装centOS

1. 下载CentOs安装镜像盘下载地址:https://www.centos.org/download/选择安装的是centOS-7.需要注意的是版本有三个种类:DVD.iso              标准安装版,一般下载这个就可以了Everything.iso        对完整版安装盘的软件进行补充,集成所有软件。minimal.iso        这个镜像的目的是安装一个非常基本的系

vm虚拟机启动centOS黑屏

在使用vmware虚拟机启动centOS时,虚拟机黑屏,只有一个鼠标箭头,而且鼠标定位不进去。其实不是黑屏,只是没显示出来。原因应该是我在centOS系统里弹出了磁盘。解决方法:windows系统搜索cmd,右键cmd.exe以管理员身份启动输入 netsh winsock reset 回车重启计算机重启vmware即可。...

#虚拟机
到底了