logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive 报错 return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.

报错场景是这样的我创建了一个学生表student1,和学生分区表studentpar2,那么现在我要根据student1中的学生性别动态向studentpar2中加载数据,sql语句insert into table studentpar2 partition(sex) select* from student1;报错字符问题,因为我在原始数据中,性别使用男女来区分,字符没有转码,所以报错,解决办

#hadoop#java#intellij-idea
hadoop jar卡死问题

项目场景:用Hadoop编写map阶段,并将结果输出到mysql,本地测试通过,没问题问题描述:将项目打包到集群上就会出现卡死原因分析:查看日志可能是内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求解决方案:在yarn-site.xml添加如下配置<property><name>yarn.nodemanager.resource.memory-mb

#hadoop
Flume跨服务器监控日志数据

需求​:对于web项目单独所部署的服务器,每天都会产生大量的nginx日志文件,我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析,最后做出​可视化。架构分析​:第一步​:数据采集从图中可以看出,我们分别再web服务器和slave1上部署Flume,再web服务器上agent的Source来源于nginx日志,经过channel传输到Sink,Sink将数据输出到slave1,

#hadoop#flume#服务器
KubeSphere搜索不到镜像问题解决

在阿里云控制台上一定使用这个地址而不要使用公网地址,不然依然报错。这个地址尤为重要路径不对这里虽然也能校验成功但是同样搜索不出来。镜像的下载云上传等操作阿里云上都有案例。明明docker配置了镜像加速的。为什么还是访问还不到。

#容器#k8s
MySQL数据库与数据仓库有什么区别

之前一直有这样的疑问,既然MySQL也可以做分析为什么还要数据仓(如Hive,Hbase等)?而且数据仓库的搭建如此麻烦,维护也不方便,还不如直接用MySQL。存在即合理,我带着这些疑惑重新看了一些资料,终于理清楚他们的区别啦。想要理解他们的区别首先要理解什么是OLTP和OLAP系统。OLTP即联机事务处理(on-line transaction processing)OLAP即逻辑分析处理(On

#数据库#数据仓库#mysql
计算机基础(校验码)

计算机系统在运行时,各部件之间要进行数据交换,为了提高数据在传送过程中的正确性,一个方法是提高硬件电路的可靠性,另一个方法是采用校验码对数据的正确性进行校验甚至是纠错。1,奇偶校验码(检错不能纠错)在数据编码中增加一位校验位,使编码中1的个数为奇数(奇校验)或偶数(偶校验)。奇校验只能发现奇数个错误位,偶校验只能发现偶数个错误位,奇偶校验只能差错不能纠错。2,循环冗余校验码(检错不能纠错)例题3,

基于Spring cloud搭建oauth2

OAuth(开发授权)是一个开放标准,允许用户授权第三方应用访问他们存储在另外的服务提供者上的信息,而不需要将用户名和密码提供给第三方应用或分享他们数据的所有内容。OAuth2.0是OAuth的延续,但他并不兼容OAuth1.0,即它完全废除OAuth1.0。很多大公司如Google,Yahoo,Microsoft等都提供了OAuth认证服 务,这些都足以说明OAUTH标准逐渐成为开放资源授权的标

#spring cloud#spring#后端
Vue实现表单提交给SpringBoot后台并存入Mysql数据库

从早上7点过一直搞到现在,终于实现Vue实现表单提交给SpringBoot后台并存入Mysql数据库,因为之前没有接触Vue,就昨天看了他的官方文档创建mysql的对应实体类@Entity(name="bookInfo")public class Books {@Id@GeneratedValueprivate Long id;private String bookName;private Str

几行代码实现SpringBoot图片上传

首先创建一个SpringBoot项目。创建一个SpringBoot项目创建成功后在静态志愿目录下会产生static template 目录当我们的SpringBoot项目启动时会自动配置好静态资源访问,当我们的静态资源文件放在resources目录下的static,public,resources, /META-INF/resources目录下时就可以直接访问现在我们将一张图片放在public目录

#spring boot#java#spring
Call exception, tries=10, retries=35, started=47376 ms ago, cancelled=false

呵呵哒这个问题搞啦两天终于在我海量的问题搜索筛选中搞定啦使用Java对hbase进行api开发时遇到的问题报错信息如下Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Thu Oct 14 10:20:58

#java#big data#hadoop
到底了