NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值。将一个有序的数据集划分为多个桶(bucket)，并为每行分配一个适当的桶数（切片值，第几个切片，第几个分区等概念）。它可用于将数据划分为相等的小切片，为每一行分配该小切片的数字序号。NTILE不支持ROWS BETWEEN，比如NTILE(2) OVER(PARTITION BY dept_no ORDER BY salary R

clo_name字段 取不等于某个值或者not in 某个（些）值的时候，类似上面这种sql写法，是取不到clo_name字段为null的记录的，如果需要取到clo_name字段为null的记录，需要做null值处理

最近遇到的一个工作任务。由于公司集群不支持使用hive命令，只能使用beeline命令。通过beeline -e 或 beeline -f 导出的结果，会包含一些其他多余的信息，不好过滤。同时beeline -e 只能跟一条sql语句。于是使用spark-sql来完成脚本编写。第一版spark-sql -e "use test ; show tables;" > table...

执行hadoop namenode -format格式化命令后,报错:Call From hadoop01/192.168.195.134 to hadoop02:8485 failed on connection exception: java.net.Connectxception: 拒绝连接;详细日志:19/02/16 12:29:51 INFO namenode.NameNo...

hive函数get_json_object不支持含特殊字符的key。例如，解析的json的key中包含’.‘,'@','#'等特殊字符。直接解析的话，结果为null。selectget_json_object(a.json,'$.ro\.boot\.serialn')asrbs--null 不支持转义,get_json_object(a.json,'$.\@serialNo')assn--null

刚克隆的虚拟机无法用远程连接工具连接,网卡是未启动的:第一次启动时都会出现没有ip地址的情况：启动网卡也会失败:重启网络没有一点反应.修改/etc/udev/rules.d/70-persistent-net.rules文件,vim  /etc/udev/rules.d/70-persistent-net.rules删除eth0那一项,并将eth1改为eth0,...

拷贝以前的虚拟机的zookeeper到新的虚拟机后,执行zkServer.sh start后,jps查看有zookeeper进程,但查看状态时显示:[root@hadoop03 zookeeper-3.4.7]# bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/software/zooke...