logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

95-Python爬虫-正则表达式

【代码】95-Python爬虫-正则表达式。

#python#爬虫#正则表达式
100-Spark Local模式部署

上传这个文件到Linux服务器中。具体过程参见99号文章。

文章图片
#spark#ajax#大数据 +1
101-Spark之Standalone环境安装步骤-1

分发spark,目前就node1上面有spark我们将它分发给node2和node3。为了便于操作spark安装也是用hadoop用户,回到node1节点下。node1:Spark的master进程和1个worker进程。整个集群提供1个master进程和3个work进程。node2:Spark的一个worker进程。node3:Spark的一个worker进程。接下来配置node2 节点 bas

#spark#大数据#分布式
102-Spark之Standalone环境安装步骤-2

2.接下来分别在node2和node3上面创建spark的软链接,操作方式相同,下面是node3节点上操作过程。3.检查环境变量配置 主要看JAVA_HOME YARN HDFS配置。通过vim conf/spark-env.sh 查看webUI的端口。看到上面的截图,证明node2和node3节点均分发spark完毕。看到这里,恭喜你集群启动成功了!4.启动Spark集群。

#spark#大数据#分布式
103-Spark之Standalone环境测试

通过测试我们发现 Standalone 环境和 Local环境完全不一样;因为Local将master和worker工作还有Driver的工作都做了;但是在 Standalone 中 master Driver worker都是独立的进程。当我们结束 ./pyspark的时候,仅仅是结束了Driver进程,其他的进程没有结束!我们在浏览器中打开node1:4040 发现无法打开,因为刚刚听错ctr

#spark#ajax#大数据
105-Spark之Standalone HA环境搭建过程

的,其他的都是Standby。当Active的Master出现故障时,另外的一个StandbyMaster会被选举出来。,包括Worker,Driver和Application的信息都已经持久化到文件系统,因此在切换的过程中只会影响新job的提交,对。原因: 配置文件中固定master是谁, 那么就无法用到zookeeper的动态切换master功能了.2.7在node1节点上启动Master 同

#spark#大数据
71-Python+MySQL 医院挂号问诊管理系统-1

项目概述本系统是一个命令行版医院挂号问诊管理系统,主要面向医院管理员或挂号员,用于管理患者挂号、医生排班、就诊记录等核心业务。核心功能模块1.患者管理 (Patients)添加新患者查看所有患者查找患者(按姓名或ID)2.医生管理 (Doctors)添加医生查看所有医生查找医生3.科室管理 (Departments)查看所有科室4.挂号管理 (Registrations)为患者挂号(选择科室、医生

文章图片
#python#mysql#开发语言
74-Python+MySQL 医院挂号问诊管理系统-4

【代码】74-Python+MySQL 医院挂号问诊管理系统-4。

文章图片
#python#mysql#开发语言
75-Python+MySQL 医院挂号问诊管理系统-5

【代码】75-Python+MySQL 医院挂号问诊管理系统-5。

文章图片
#python#mysql#开发语言
到底了