logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

筛选条件在on和where中的区别(基于hivesql)

对group by分组后的结果进行过滤(注意此时过滤的数据粒度不是单条记录,而是整个分组)。所以从执行顺序可以看出筛选条件放在where和on中,最本质的区别是过滤的时机不同,保留了左表的全部记录,逻辑上和先从右表筛选,拿筛选后的结果和左表关联的效果一样。:确定数据源是什么,from后可以是单表,可以是多表的join操作。:选择结果字段(窗口函数的执行时机也在此时)。:对where筛选后的结果分组

位运算符计算规则及使用场景

位运算符包括按位与、按位异或、按位或、按位取反、左移<<、右移>>

详细记录拉链表的实现过程

1)直接更新,也就是用业务库中发生变化的数据覆写数仓中的数据,这种实现方式可以保持数仓与业务库数据保持一致,缺点是只能保存当前最新的数据,对这条数据修改之前的历史数据不做维护,一般很少采用这种实现方式,除非历史数据本身就是错误的,没有使用价值。此时这张拉链表就是只包含最新的记录信息,而上面那张拉链表中包含的既可能有最新的信息,也可能有历史的记录信息,此时我们需要把原始的那张拉链表中的。后续对拉链表

#数据仓库
整数拆分问题(动态规划+递归&记录数组)

问题描述:求将正整数 n 无序拆分成最大数为 k 的拆分方案个数,要求所有的拆分方案不重复。例如 n=5, k=5时, 对应的拆分方案如下:5 = 55 = 4 +15 = 3 + 25 = 3 + 1 + 15 = 2 + 2 + 15 = 2 + 1 + 1 + 15 = 1 + 1 + 1 + 1 + 1dp求解问题的特点:最优性原理,无后效性,重叠子问题。dp求解的核心就是得到状态转移方程

【数据结构】——哈夫曼树及哈夫曼编码

一、哈夫曼树(一)什么是哈夫曼树(二)哈夫曼树的构建(三)哈夫曼树的几个特点(四)java代码构建哈夫曼树二、哈夫曼树拓展:构建最优k叉树三、哈夫曼编码一、哈夫曼树(一)什么是哈夫曼树哈夫曼树也叫最优树,那它具体优在什么地方?要弄懂这个问题我觉得先搞明白什么是判定树。引用百度百科的原话是:决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等

【数据结构】——图的深度优先搜索和广度优先搜索

关于邻接矩阵和邻接表:https://blog.csdn.net/namewdy/article/details/105668761下面都以此图进行遍历:1.深度优先搜索深度优先搜索,Depth First Search,简称DFS。对于一个连通图,深度优先遍历的过程:从图中一个顶点 vvv 出发并访问 vvv 。找到刚访问顶点的第一个未被访问的邻接点并访问,并继续以该邻接点作为刚访问过的顶点,重

正则表达式梳理(基于python)

正则表达式(regular expression)是一种针对字符串匹配查找所定义的规则模式,独立于语言,但不同语言在实现上也会存在一些细微差别,下面基于python对常用的相关内容进行梳理。

#正则表达式#python
【hive】transform脚本

和udf差不多的作用,支持用python实现。通过标准输入流从hive读取数据,内部处理完再通过标准输出流将处理结果返回给hive。实现流程上比udf要更简单灵活一些,只需要上传脚本=>add file加载到分布式缓存=>使用。

#hive#hadoop
【hive】lateral view侧视图

lateral view也叫侧视图,属于hive sql所特有的语法。用来实现类似标准sql中join的操作。join参与运算的往往是两个表,根据指定的关联字段进行横向连接。lateral view参与运算的是一张表,这张表里往往存在某个多值的字段,通过侧视图结合UDTF函数可以将这个多值字段拆分为粒度更小的值,每一个拆分出来的值都会作为新的字段和一条原记录进行拼接。类似于列转行操作,虽然严格意义

#hive#hadoop
java中使用Scanner对象时注意的问题

1.Scanner对象调用close( )方法后重新实例化读取不到数据对于下面这段代码import java.util.Scanner;public class Test {static void fun() {Scanner sc = new Scanner(System.in);System.out.println(sc.nextInt());sc.close();}public static

    共 26 条
  • 1
  • 2
  • 3
  • 请选择