logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于CDH6.2.0 搭建大数据集群

Cloudera Manager集群搭建hostname按表格进行修改,/etc/hosts文件添加节点 Ip+hostnamehostnameiprolecdh-nn01172.16.0.188HadoopMaster,CM Server,Mysql,Hue,HS2cdh-nn02172.16.0.189Hadoop Master,CMAgent,HS2cdh-nn03172.16.0.190H

#big data#hadoop#hdfs
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMill

spark rdd操作报如下错误:Exception in thread "main" java.lang.NoSuchMethodError:com.google.common.base.Stopwatch.elapsedMillis()J这是由于依赖包版本不一致导致的。随后,我检查项目pom.xml文件 并没有导入相关依赖包,后来检查项目的 External Libraries 发现了该包,且

#maven
数据仓库分四层

数据库和数据仓库区别:数据库:为某种目的,保存的表型结构化数据。元数据和表数据存放在mysql中数据仓库:为某种目的,结构化/半结构化数据表数据本身不一定放在数据仓库中,还可以放在hdfs中。结构存放在mysql中。select * from tables where table_name = ‘userinfos’ 元数据 表select * from columns where table_n

#数据仓库
windows Server 2012 安装导入opencv-python 提示DLL找不到

项目背景:win server 2012 R2 + python3.6+opencv4.4.0+ffmpeg 实现视频图像处理问题描述:import cv2 报错dll找不到1.pip命令安装opencv:pip --default-timeout=100 install opencv-python==4.4.0.46 -i http://pypi.douban.com/simple/ --tru

#python#opencv#windows
Windos中安装labellmg教程

labelImg安装windows 10上安装,需要python3+Qt5组合。这里是引用安装Anaconda3.5.1.0 windows链接:https://pan.baidu.com/s/1Gdaaj8El759nA7np5L6LfQ提取码:vdka我下载的是64位的python3.6版本。然后双击安装,一般点选“for all person”。我安装目录为D:\Anaconda3510,安

#深度学习
数据仓库分四层

数据库和数据仓库区别:数据库:为某种目的,保存的表型结构化数据。元数据和表数据存放在mysql中数据仓库:为某种目的,结构化/半结构化数据表数据本身不一定放在数据仓库中,还可以放在hdfs中。结构存放在mysql中。select * from tables where table_name = ‘userinfos’ 元数据 表select * from columns where table_n

Apache Http Server安全漏洞解决

场景:公司使用的大数据集群云服务器,安全扫描出严重漏洞,扫描漏洞如下:安全漏洞扫描报告端口协议服务严重等级漏洞–ICMP–弱ICMP timestamp请求响应漏洞–UDP–弱允许Traceroute探测80TCPhttp严重 严重 严重 严重 严重 弱OpenSSL 安全漏洞(CVE-2022-0778) Apache HTTP Server 环境问题漏洞(CVE-2022-22720) Apa

#centos#服务器
JAVA API实现HDFS创建、删除文件夹&上传、下载文件

JAVA API实现hdfs的文件操作需要三个依赖包hadoop-common、hadoop-hdfs和hadoop-client。<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.6

#hdfs
基于CM管理的CDH6.3.2集群集成Atlas2.1.0

基于CM管理的CDH6.3.2集群集成Atlas2.1.0大数据平台进行数据治理需要,采用Apache Atlas进行数据治理。下载Atlas2.1.0版本源码包。下载https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 到windows。前提CDH集群已经搭建完成,组件服务包含Hdf

#数据仓库#big data
到底了