hive中的distinct是去重的意思，和group by在某些情况下有相同的功能下面测试下distinct的部分功能，先创建一张测试表create table test.trip_tmp(id int,user_id int,salesman_id int,huose_id int);插入模拟数据insert into test.trip_tmp values(1, 2, ...

目录一、通过tar分卷压缩及解压1. 分卷压缩2. 解压3. 校验两个文件md5码是否一致二、通过zip分卷压缩及解压1. 分卷压缩2. 解压3. 校验两个文件md5码是否一致大家可能会遇到这样的情况，一个文件很大，压缩成一个压缩包后还是很大，不方便传输（比如需要微信给别人，微信限定传输的文件大小为100M），那我们可以通过分卷压缩成几个压缩包，然后分卷传输之后在合并解压，再通过md5码校验两..

MySQL默认情况下，where条件遇到字符串是不区分大小写的。以下两条SQL语句结果是一样的：MySQL [datawarehouse]> select * from temp_01 t where browser = 'ie:11' limit 3;+-----+----------+-----------+---------+--------+| id| platform | vers

最近接到需求：客户端上报json数据，入数据库后需要对json中的key分组统计时长和次数，但json中的key是不确定的，经常会增删。明细层模型设计：将key和value分别设计为1列，这样能不需要关心json中的key和value怎么变，都能根据客户端上报的数据放入数据数据库由此引发思索：在json不确定的key和value情况下，怎么把key和value取出，并进行行转列放入表中？...

今天在执行以前写的将增量同步到全量的作业过程中报如下错误：消息已以用户 NT SERVICE\SQLSERVERAGENT 的身份执行。 将截断字符串或二进制数据。 [SQLSTATE 22001] (错误 8152)语句已终止。 [SQLSTATE 01000] (错误 3621)警告: 聚合或其他 SET 操作消除了 Null 值。 [SQLSTATE 01003] (消息 815...

大数据时代，用户的行为深刻影响着企业产品的变革与创新，如何追溯和分析用户行为，沉淀数字资产，并利用它实现精准化营销和产品价值提升，需要更多的探索与实践。本次分享的题目为用户分群数据化运营智能决策引擎数据开发实践，将结合网易云音乐产品实例，阐述数仓侧如何从0到1开展用户数据产品的开发与治理，实现用户增长。

问题：Xshell远程不了Centos7，centos 可以ping 通 windows，也可以ping通外网，但是windows ping 不通 centos问题描述：本机使用的操作系统是win10，虚拟机是VM12，Linux操作系统为centos7，centos中设置静态IP、配置完DNS后，centos可以ping 通自己，也可以ping通 windows , 也能ping通外网，但是X.

今天在自己的虚拟机上安装apache-hive-3.1.1时启动hive时出现了很多错误，经过不断的资料查询及测试最终可以正常运行了，特记录下，加深自己的印象分享给大家，也以便以后出现同样的错误时可以查看笔记解决。第一条错误：MetaException(message:Error creating transactional connection factory)at org.apache...

启动zookeeper，能ping通虚拟机，但telnet ip+端口发现连接超时或拒绝排查思路首先查看IP是否一样zookeeper是否启动成功 bin/zkServer.sh status或者ss -ntl | grep 2181或者netstat -anpt | grep 2181查看Linux是否关闭防火墙systemctl status firewalld.service...