在kettle中运行脚本，脚本里需要运行jar包，java -jar XXXX.jar然后运行日志报错显示java command not found说明在kettle中运行脚本时，找不到java的路径，需要在运行脚本中加上如下三行即可：export JAVA_HOME=/home/hdp_teu_dpd/user/wangxuan/wmda/jdk1.8.0_131export ...

如果HDFS配置好回收站的话，drop删除表后可以通过命令恢复表数据，例如回收站HDFS路径如下：/user/hdp_teu_dpd/.Trash/Current/表的HDFS路径如下：/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/当drop tabledw_smart_merge_idmappi...

报错如下org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried [[10.162.7.17:9219, 10.162.7.18:9219, 10.162.7.16:921...

一、Web的MVC设计理念和MVC框架：之前在Web篇04中已经详述了Servlet、TomCat、JSP和Web.xml之间的联系；（1）浏览器发送请求到收到响应，简要的过程如下：浏览器发送请求后，由Web.xml中规定的协议，进入TomCat中特定的Servlet，服务器先到Web-Content中找有没有对应的html/jsp页面，如果没有再到WEB-INF目录下的xml配置文件中找映...

目录1. datediff（'endTime'，‘startTime’）2. date_sub（‘yyyy-MM-dd’，n/-m）3. date_add（'yyyy-MM-dd'，n/-m）ps：三个date函数日期均只能为'yyyy-MM-dd'格式 & 'yyyy-MM-dd HH:mm:s'格式1. datediff（'endTime'，‘startTime’）...

spark重要参数配置

目录区别点一：区别点二：同样是流式数据采集框架，flume一般用于日志采集，可以定制很多数据源，减少开发量，基本架构是一个flume进程agent（source、拦截器、选择器、channel<Memory Channel、File Channel>、sink），其中传递的是原子性的event数据；使用双层Flume架构可以实现一层数据采集，一层数据集合；Flu...

一般查询hive表中某个字段是否存在某个值，会使用如下查询语句select * from 表名 where dt=XXXX and 字段 like '%某个值%' limit 10；这种比较适合hive表数据量较小的情况，出现limit10，hive会默认判断此表数据量不大，只开启一个map进行查询，如果对于大表，比如好几百G上T的数据量，这么大的数据量只开一个map一方面查询慢，另一方面，因为数

目录区别点一：区别点二：同样是流式数据采集框架，flume一般用于日志采集，可以定制很多数据源，减少开发量，基本架构是一个flume进程agent（source、拦截器、选择器、channel<Memory Channel、File Channel>、sink），其中传递的是原子性的event数据；使用双层Flume架构可以实现一层数据采集，一层数据集合；Flu...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wx1528159409目录1. 在VMware Workstation下安装CentOs，新建虚拟机并安装VMtools2. 修改虚拟机IP，联网并连接Xshell3. 修改主机名4. 修改linux和win10中的hosts文件5. 关闭防火墙6. 创建自定义用户k...