grep ‘xxx’目标文件名file -A 5 匹配查找到的及以后的20行内容。hive的一个优化 set hive.fetch.task.conversion;hadoop文件系统复制到本地需要使用copyToLocal命令。在本地使用grep命令过滤出文件中出问题的行，以及其后的若干行，根据结果找到对应的文件名称，根据文件名称将文件复制到本地，lzo解压 lzop -dv xxx.lzo。1

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，是基于 MPP 架构的分布式 ROLAP （Relational OLAP）分析引擎主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告，可以支持任意指标、任意维度并秒级给出反馈。如果说两者不那么强的地方，ClickHouse的问题是使用门槛高、运维成本高和分布式能力

hive中\u0001、\0001、\0010、\u0010等分隔符切割问题

hive中使用正则及炸裂函数解析jsonarry的实现方法

explode(map)使得结果中将map里的每一对元素作为一行，key为一列，value为一列，一般情况下，直接使用即可。regexp_replace(‘[{“website”:“www.baidu.com”,“name”:“百度”},{“website”:“google.com”,“name”:“谷歌”}]’, ‘\[|\]’,‘’),解析：参数1是传入的字段，参数二是正则‘（）’内的才是真正

问题背景：使用 join on 1=1 拼接查询结果时，返回值是什么也没有;原因是 join 左右的两张表的分区有空的。查询历史数据时候容易遭遇。使用 join on （1=1）时如果后面的表查询的分区是空的那么最终结果也是空的。改用left join on 1=1 可以规避。即: a join b(NULL) on 1=1结果是什么也没有；a left join b(null) on 1=1 结

一 elasticsearch简介**ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。**Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。1elasticSearch的使用场景1、为用户提供按关键字查询的全文搜索功能。2、实现...