logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Display all 495 possibilities? (y or n)—— linux环境下脚本执行问题的解决

Display all 495 possibilities? (y or n)今天在把自己写的脚本放到azkaban上遇到了这么一个错误,在hue里执行没有问题,放到azkaban上就这样了,本来以为是linux和windows环境换行符的问题呢,结果把CRLF转换为LF也不行。最后发现原来是tab键的问题,因为存在tab键,linux就会出现这样的问题,所有把tab键去掉就好了那么怎么去掉...

hive查询结果缺少数据——某些union all和join情况下会缺少数据

在使用hive sql 进行union all查询结果时,缺少数据在使用hive sql 进行join 关联时,查询结果明显缺少数据,或于presto或其他查询渠道查询结果不一致时原因可能是orc文件在加工过程中造成的部分元数据丢失,关闭元数据优化就可以了set hive.optimize.index.filter=false;...

#hive
spark学习笔记

Spark的构成Spark Core(spark核心)Spark Sql(操作结构化数据的组件)支持多数据源Spark Streaming实时流计算MLlib机器学习GraphC面向图计算的框架和算法库spark的三种模式standaloneapacheMersoshadoopYarnsparkSession 包括 SparkContextsql_hi...

到底了