mysql实现hive里面collect_set函数功能。

hive数据仓库构建ods层模型案例。

场景:coding改密码后,用git拉取代码报错:本地分支与远程分支没有关联。git拉取代码报错 xxx has no tracked branch。

场景:hdfs文件是以\001分割的字段,测试hive是否可以按\001切分字段。

报错原因: 数据导入oracle,表名字段名要一定要大写。

场景:从kafka读数据,通过jdbc写入oracle。#往kafka测试主题写入数据。–创建oracle测试表。

场景:从kafka读数据,通过jdbc写入mysql。#往kafka测试主题写入数据。–创建mysql测试表。

在insert语句中, 动态分区的字段必须放在select语句的末尾,hive会根据这个字段的值来创建分区目录。hive动态分区概念:允许插入数据到分区表时,根据插入的数据内容自动创建相应的分区。1.启用动态分区功能。

通过MERGE INTO语句，将目标表和源表中数据针对关联条件进行匹配，若关联条件匹配时对目标表进行UPDATE，无法匹配时对目标表执行INSERT。进行MERGE INTO操作的用户需要同时拥有目标表的UPDATE和INSERT权限，以及源表的SELECT权限。此语法可以很方便地用来合并执行UPDATE和INSERT，避免多次执行。

需求:使用sqoop从mysql抽数,由于表数据量比较大,超过1亿条,需要使用类似oracle自带的rownum字段来做切分,第二种方式:使用row_number窗口函数来生成行号(Mysql8.0版本)mysql没有自带的rownum字段。第一种方式:使用自定义变量来生成行号。