logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何使用kettle对日期进行数据清洗,以达到统一规范格式?

需求说明:Kettle对日期字段进行清洗转换,将不同日期格式的数据转换为标准格式YYYY-MM-DD,其他非标准的日期格式包括YYYY/MM/DD、YYYY/MM、YYYY年MM月、YYYY-MM、YYYYMM、YYYY年MM月DD日、DD-MM月-YYYY。解决步骤:1在本地oracle中创建表以及插入相关数据Create table date_check(tdate varchar2(20),

#oracle
spark 读取 hive 数据

准备工作:将hive进程起来nohup hive --service metastore &nohup hive --service hiveserver2 &beeline -u jdbc:hive2://localhost:10000找到要读取的数据即在数据库名为 lianxi 表名为 stu 的数据开始操作:首先 需要将 hive-site.xml 拷贝到 spark/con

#spark#hive
打包spark应用程序,提交到集群运行的相关代码

以WordCount程序为例进行说明首先 在idea中编写好WordCount的代码package day0628import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount extends App {//if(args.length <1){//println

#spark
到底了