logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

完全分布式环境Hadoop中HDFS重新格式化

2)hdfs-site.xml中dfs.name.dir、dfs.data.dir所指定的目录删除,即删除hdfs-site.xml中配置的存储信息路径。1)core-site.xml中将hadoop.tmp.dir所指定的目录删除,即删除Hadoop的临时文件路径。若是完全分布式环境的Hadoop需要在所有的虚拟机中删除以上指定目录下的文件夹。3)然后执行格式化命令:hadoop namenod

文章图片
#hadoop#大数据
大数据开发项目--音乐排行榜

环境:windows10,centos7.9,hadoop3.2、hbase2.5.3和zookeeper3.8完全分布式;

文章图片
#大数据#java#hdfs +3
基于容器和集群技术的数据自动化采集设计和实现

目标:部署mysql服务容器并使用docker构建包含python爬虫脚本的容器采集数据到mysql数据库。

文章图片
#自动化#运维#docker +1
Python爬虫基础之 Selenium

Selenium是一个浏览器自动化测试框架,是一款用于Web应用程序测试的工具。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真实用户所做的一样,从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能,尽管在不同的浏览器上依然有细微的差别。使用简单,可使用Java,Python等多种语言编写用例脚本

文章图片
#python#爬虫#selenium
软考中级--数据库系统工程师 备考建议和考试注意事项

《数据库工程师》备考建议及软考考场说明...

文章图片
#数据库
电脑连接耳机设备,不能单独调节耳机音量,只能使用扬声器统一调节

有些电脑在连接耳机设备时只能使用扬声器调节耳机音量,不能耳机和扬声器分开调节。但因为扬声器外放和使用耳机时听感不同,故每次拔插耳机都要再调节音量,这样做很麻烦。所以下面我们介绍如何使耳机输出设备分开调节音量。

文章图片
#windows
big data tools连接hdfs报错Exception during driver request: java.lang.IllegalArgumentException:java.net.U

IDEA连接hdfs时报错:Exception during driver request: java.lang.IllegalArgumentException:java.net.UnknownHostException: hadoop00按以下步骤进行排查:1)确认配置了hadoop环境2)确认虚拟机开启了hdfs守护进程3)检查在windows中是否配置了主机映射4)big data too

文章图片
#大数据#hdfs#java
CentOS7搭建Kubernetes集群

环境准备:Centos7(2核、master内存3GB、slave内存2GB)搭建概述:先将一台虚拟机搭建为master、随后克隆出两台虚拟机作为从节点。

文章图片
#kubernetes#容器#云原生
Kubernetes(k8s)访问不了Pod服务

在网上找了很久的答案,最后还是没解决,后来突然想起来一直是在k8s的主节点上访问的服务,有可能服务被默认部署到从节点上了,随后使用命令查看了服务的部署情况。在k8s集群部署java web应用的服务时,浏览器访问不了pod服务或linux终端。果然😅😥😓😥😣,部署到从节点上了,然后访问从节点的端口。

文章图片
#kubernetes#容器#云原生
Kubernetes(k8s)报错error: deployment “nginx-deployment“ exceeded its progress deadline

执行命令报错:error: deployment "nginx-deployment" exceeded its progress deadline报错原因:Pod升级超过了最大的时间限制,变成了超时状态,Pod升级失败

文章图片
#nginx#docker#kubernetes
到底了