logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据之Hive:get_json_object函数使用

目录1.数据2.取出第一个json对象3.取出第一个json的age字段的值4.复杂案例1.数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2.取出第一个json对象hive (gmall)>select get_json_object('[{"name":"大郎","sex":"男","ag

Hive之解析Json数组

目录Hive自带的json解析函数1、get_json_object函数2、json_tuple函数Hive解析json数组一、嵌套子查询解析json数组二、使用 lateral view 解析json数组Hive自带的json解析函数1、get_json_object函数语法:get_json_object(json_string, ‘$.key’)说明:解析json的字符串json_strin

#json#hive#hadoop
数据结构与算法之美学习笔记:54 | 算法实战(三):剖析高性能队列Disruptor背后的数据结构和算法

本节课程思维导图:Disruptor 你是否听说过呢?它是一种内存消息队列。从功能上讲,它其实有点儿类似 Kafka。不过,和 Kafka 不同的是,Disruptor 是线程之间用于消息传递的队列。它在 Apache Storm、Camel、Log4j 2 等很多知名项目中都有广泛应用。之所以如此受青睐,主要还是因为它的性能表现非常优秀。它比 Java 中另外一个非常常用的内存消息队列 Arra

文章图片
#算法#数据结构
数据结构与算法之美学习笔记:56 | 算法实战(五):如何用学过的数据结构和算法实现一个短网址系统?

本节课程思维导图:短网址服务你用过吗?如果我们在微博里发布一条带网址的信息,微博会把里面的网址转化成一个更短的网址。我们只要访问这个短网址,就相当于访问原始的网址。比如下面这两个网址,尽管长度不同,但是都可以跳转到我的一个 GitHub 开源项目里。其中,第二个网址就是通过新浪提供的短网址服务生成的。原始网址:https://github.com/wangzheng0822/ratelimiter

文章图片
#算法#数据结构
数据结构与算法之美学习笔记:52 | 算法实战(一):剖析Redis常用数据类型对应的数据结构

本节课程思维导图:到此为止,专栏前三部分我们全部讲完了。从今天开始,我们就正式进入实战篇的部分。这部分我主要通过一些开源项目、经典系统,真枪实弹地教你,如何将数据结构和算法应用到项目中。所以这部分的内容,更多的是知识点的回顾,相对于基础篇、高级篇的内容,其实这部分会更加容易看懂。不过,我希望你不要只是看懂就完了。你要多举一反三地思考,自己接触过的开源项目、基础框架、中间件中,都用过哪些数据结构和算

文章图片
#算法#数据结构
吴恩达深度学习笔记:浅层神经网络(Shallow neural networks)3.6-3.8

当使用𝑧的导数时,𝑧=0 的导数是没有定义的。但是当编程实现的时候,𝑧的取值刚好等于 0.00000001,这个值相当小,所以,在实践中,不需要担心这个值,𝑧是等于 0 的时候,假设一个导数是 1 或者 0 效果都可以。第一,在𝑧的区间变动很大的情况下,激活函数的导数或者激活函数的斜率都会远大于0,在程序实现就是一个 if-else 语句,而 sigmoid 函数需要进行浮点四则运算,在

文章图片
#深度学习#神经网络
大数据之hive:行列转换系列总结

目录1、行转列(一)主要使用:示例2、列转行(一)示例3、行转列(二)示例4、列转行(二)示例1、行转列(一)主要使用:CONCAT(string A/col, string B/col…):返回输入字符串连接后的结果,支持任意个输入字符串;CONCAT_WS(separator, str1, str2,…):它是一个特殊形式的 CONCAT()。第一个参数是剩余其他参数间的分隔符。COLLECT

#hive#hadoop#数据仓库 +1
Hive之grouping sets用法详解

比如(class,course), 二进制为 101,十进制则为5,则grouping__id为5,同理grouping__id为6,则组合为(sex,course),二进制为110;比如 groupby class,sex,course,则二进制的顺序为:coursesexclass ,grouping sets字段出现则为1,反之则为0,关于grouping sets的使用,通俗的说,grou

#hive#hadoop#数据仓库
大数据之Hive:regexp_extract函数

目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级:二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意,即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次,/a*/将匹配a,aa,aaa,加了”/"后,/a/* /将只匹配"a* "^匹配一个输入或一行的开头/^a/匹配"an A",而不匹配

文章图片
#hive#hadoop#big data
SQL面试题挑战15:sql实现分钟级的趋势图

在Hive或者ODPS中,怎么用sql实现分钟级的趋势图?比如从交易表中,如何统计0点到每分钟的交易趋势图?原表:trade_A(trade_id,pay_time(格式是2020-08-05 10:30:28),pay_gmv)。希望用sql实现分钟级的0点到当前分钟的GMV。结果表:result_A(minute_rn(分钟顺序),pay_gmv_td(每分钟的交易额,都是0点到当前分钟的累加

文章图片
#sql#数据库
    共 17 条
  • 1
  • 2
  • 请选择