logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark的学习之路:pyspark的本地运行以及在YARN的运行

一、本地运行pyspark --master local[N]local[N] 代表在本地运行,N的值代表同时执行N个程序(1)查看当前的运行模式:sc.master(2)读取本地文件,路径之前加上“file:”testFile = sc.textFile('file:/usr/local/spark/README.md')(3)显示项数testFil...

06-hadoop集群配置

1.0 安装注意点安装注意点:NameNode 和 SecondaryNameNode 不要安装在同一台服务器2.0 开始配置核心文件2.1 打开文件所在的位置cd /opt/module/hadoop-3.1.3/etc/hadoop2.2 配置core-site.xmlvim core-site.xml<?xml version="1.0" encoding="UTF-8"?>&l

#hadoop
ubuntu 18.04 更换国内的源

1.0 备份原来的源sudo cp /etc/apt/sources.list /etc/apt/sources_init.list2.0 更换源sudo gedit /etc/apt/sources.list使用gedit打开文档,删除原来的所有内容,将下边的清华源复制进去,然后点击保存关闭。使用清华源deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu

文章图片
#ubuntu
selenium中定位shadow-root,以及获取shadow-root内部的数据

通过shadow-root的父级定位到shadow-root,再通过语句进行操作两种方法:第一种,Python种JS实现第二种,selenium实现。

文章图片
#selenium#测试工具
tensorflow加载模型keras.models.load_model出错的问题

TensorFlow正常保存模型,但是加载模型失败。将模型的位置,放置在无中文的目录下就可解决这个问题。保存模型的时候,保存位置出现中文。

文章图片
#tensorflow#keras#人工智能
Ubuntu 16.04的扩容问题

1.0 关闭虚拟机,进行设置进行磁盘的设置2.0 打开虚拟机2.1 安装磁盘管理工具sudo apt-get install gparted2.2 打开sudo gparted3.0 进行磁盘整理先解决锁定删除 /dev/sda5再删除/dev/sda2进行调整进行剩余空间的编辑点击应用...

文章图片
#ubuntu
vm制作Ubuntu镜像18.04

1.0 安装虚拟机2.0 创建新的虚拟机进行选择选择Ubuntu镜像选择iso文件所在的位置选择完成之后,点击下一步,注意这一步选择之后,如果更换了ubuntu的位置,需要重新设置设置相关的信息:用户名 admin密码admin点击下一步,进行设置这一步注意:不要将位置设置在c盘,放在别的盘点击下一步,进行容量的设置注意设置磁盘的大小,设置大点,如果后面扩容很繁琐点击【自定义硬件】,进行设置根据机

文章图片
#ubuntu
ubuntu 16.04 升级Python

# 1.0 尽量不要动Ubuntu原始的python# 2.0 开始升级sudo add-apt-repository ppa:jonathonf/python-3.6出错的情况修改命令sudo add-apt-repository ppa:deadsnakes/ppasudo apt-get updatesudo apt-get install python3.6...

#python
    共 11 条
  • 1
  • 2
  • 请选择