logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

idea2024.02版本拉取,修改,提交gitlib代码

在maven中修改对应的setting,进行代码修改。

文章图片
#大数据
大数据学习-hive(一:如何上传csv数据到hive表)

一:建表create table temp.dim_dk_vehicle_info_01(ecu_id string,key_type string,status string)comment 'tmp中dim层车辆维度信息表'row format delimitedfields terminated by ','collection items terminated by '\n'stored

文章图片
#hive#big data#hadoop
大数据bug-datax(一:主键update)

一:datax的writeMode参数。insert这个参数可以设置为insert,这样子就是对于同步的主键进行设置。主要主键存在,那么在更新的时候,就不会将结果表中的数据进行修改。只会增加新的数据。update在同步到时候,设置主键,那么会查看表中主键内容的数据,如果有变动,就会直接进行替换。...

大数据bug-sqoop(一:同步mysql类型为tinyint到hive)

一:为什么在mysql会出现tinyint类型?因为在mysql中,不存在布尔类型,所以使用tinyint来代表布尔类型。但是在同步到hive中,也会显示出来布尔类型,就是true和false。二:怎么做?可以在mysql中在建立一张表,将新建立的表修改为int类型,之后在进行同步。修改sqoop的同步脚本。官网解释如下:Mysql中存在tinyint(1)时,在数据导入到HDFS时,该字段默认会

文章图片
#hdfs#big data#sqoop
大数据学习-hive(四:离线数仓搭建流程)

一:接需求需求通常是其他部门提过来的。我们要和其他部门人员进行沟通,核实需求是否能完成,如果能完成最后要形成一个excl文档,把想要的字段都写在excl中,并和对方核对任务完成日期。如果完不成,提前告知对方。二:查看所需数据1. 所需数据在维表中。这种情况直接写sql,将结果放在dm层即可。2. 所需数据在ods层或者dwd层。这些数据并没有在维表中,我们要想是否要建立一个新的维度,进行维度建模,

文章图片
#big data#hive#学习 +2
大数据项目-4.下载安装谷歌翻译插件

一:下载安装谷歌浏览器二:下载谷歌翻译插件下载地址三:安装1. 打开浏览器扩展程序。2. 将下载文件拖入界面。3. 点至添加扩展程序。4. 成功5. 使用。

文章图片
#chrome
大数据学习-数仓理论(第八章:事实表核心概念)

一:为什么要学会建立事实表?1.决定一个数仓好坏最核心的指标就是能给业务部门提供多么大的帮助。事实表代表者每一个业务下面的每一条流程。所以事实表是搭建数仓的根基。事实表搭建的好坏,直接决定了你数仓的质量。二:什么是事实表?1. 粒度分类事物事实表。1)代表某个时间和空间上的某个点的事物粒度。定期快照事实表。1)代表不断重复的有规律时间段的定期快照粒度。累计快照事实表1)代表一个严格定义了开始和结束

文章图片
#big data#学习#hive
    共 27 条
  • 1
  • 2
  • 3
  • 请选择