logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

window7下在pycharm上配置pyspark 搭建spark测试环境

因为在虚拟机linux上已经部署好了spark,但是每次编写好spark的python脚本程序都得在虚拟机上测试,很麻烦,所以就在本地的win7系统下,结合pycharm开发工具,搭建可本地测试运行环境。本地运行spark的python脚本程序,当然需要spark的相关环境,所以前提也要在本地win7下搭建好spark环境【步骤思路如下】1. 搭建本地测试的spark环境...

#spark#python
docker 从公共仓库拉取,并上传到私有仓库

有些时候无法联网拉去到网上镜像时候,需要先通过能联网的机器使用docker pull 到本地。然后将镜像打上tag, 再上传到私有仓库。示例,比如我们要下载被墙掉的gcr.io(谷歌镜像仓库)中的镜像https://console.cloud.google.com/gcr/images/istio-release/GLOBAL/pilot?gcrImageListsize=50主要流程...

#docker
将可运行的jar包 制作成docker image镜像

目的:将原本可以通过如下命令//运行client.jar 包中的 io.grpc.examples.helloworld.HelloWorldServer 的主函数,并且要依赖同级目录libs下的jar包java-Djava.ext.dirs=libs-cp client.jario.grpc.examples.helloworld.HelloWorldServer运行...

#docker
武汉大学计算机考研个人经验分享

   刚结束17年考研不久,回首这一年的备考,虽然结果还未知,但这一年自己的收获确实不少。下面就简单的分享下自己这一路走来的体会和一些个人经验。   首先说明下,我报考的是武大计算机学院计算机技术应用专硕。考试的科目是政治,英语二,数学二,专业课(计算机基础933)。一般学校计算机学硕是读三

#经验分享#考研
到底了