logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据分析 clickhouse安装配置及使用

大数据分析 mysql数据迁移clickhouse最近项目遇到个问题,就是mysql做数据分析高并发情况下,老是报超时错误,主要原因还是因为mysql进行大批量关联查询太耗时间,于是在网上查询了下资料,决定试一下clickhouse一、Clickhouse简介Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,

大数据分析学习第三课 Hadoop集群使用HDFS和MapReduce

上节我们已经成功配置并启动了hadoop集群,1台namenode节点,2台datanode节点,接下来我们就利用hadoop大杀器,使用HDFS和Mapreduce1、测试HDFS的功能我们先上传一个文件到HDFS,先查看software目录里面有我们之前配置java的jdk包,我们就上传这个文件,输入hadoop可以查看帮助信息,看到有fs我们再输入hadoop fs,可以看到有很多命令可用,

#hadoop#hdfs#mapreduce +2
npm报错:request to httpsregistry.npm.taobao.org failed, reason certificate has expired的解决方案

request to httpsregistry.npm.taobao.org failed, reason certificate has expired的解决方案。npm 淘宝镜像已经从 registry.npm.taobao.org 切换到了 registry.npmmirror.com。旧域名也将于 2022 年 5 月 31 日停止服务。

文章图片
#npm#前端#node.js
spark ERROR StatusLogger No log4j2 configuration file found.日志报错

spark ERROR StatusLogger No log4j2 configuration file found.这个错误是因为没有添加配置文件,我们在Idea项目的Resource目录下面创建一个log4j2日志的xml配置文件再执行程序就不报这个错了

大数据分析 clickhouse安装配置及使用

大数据分析 mysql数据迁移clickhouse最近项目遇到个问题,就是mysql做数据分析高并发情况下,老是报超时错误,主要原因还是因为mysql进行大批量关联查询太耗时间,于是在网上查询了下资料,决定试一下clickhouse一、Clickhouse简介Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,

spark3.1.2版本 运行报Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9

Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9这是因为项目中没有配置hadoop-common和hadoop-mapreduce-client-core包,我们在pom文件里加上依赖就可以了<dependency><groupId>org.apache.hadoop</groupId>&

#spark#java#hadoop
spark3.1.2版本 运行报Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9

Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9这是因为项目中没有配置hadoop-common和hadoop-mapreduce-client-core包,我们在pom文件里加上依赖就可以了<dependency><groupId>org.apache.hadoop</groupId>&

#spark#java#hadoop
大数据分析 clickhouse安装配置及使用

大数据分析 mysql数据迁移clickhouse最近项目遇到个问题,就是mysql做数据分析高并发情况下,老是报超时错误,主要原因还是因为mysql进行大批量关联查询太耗时间,于是在网上查询了下资料,决定试一下clickhouse一、Clickhouse简介Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,

python执行pip install -r requirements.txt 安装第三方库报 metadata-generation-failed

python执行pip install -r requirements.txt 安装第三方库报 metadata-generation-failed

文章图片
#python#pip#开发语言
hiveserver2服务的启动与简单使用技巧

一、hiveserver2简介Hive在生产上是不需要部署集群的,操作Hive只需要通过它提供的客户端即可,Hive提供了大致三类客户端:hive shell:通过hive shell来操作hive,但是至多只能存在一个hive shell,启动第二个会被阻塞,也就是说hive shell不支持并发操作。WebUI: 通过HUE/Zeppelin来对Hive表进行操作。基于JDBC等协议:启动hi

文章图片
#hive#java#big data +1
    共 12 条
  • 1
  • 2
  • 请选择