logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

电商离线数仓项目-DWD层ETL数据清洗,最大亮点之自定义UDF函数

要对获取到的日志数据进行处理,去空,转义,清洗等等.这时候我就需要我们来对初始的原始数据进行清洗.日志服务器获取到的数据是往往json对象,因此要对json对象进行解析,通过自定义UDF/UDTF函数来对其进行清洗:(1)新建一个maven工程,在新建的maven工程中,创建好包.(com.atguigu.udf),然后再对pom.xml中导入如下的所需依赖:<repositories&gt

#hive#maven#big data
创建好springboot项目,pom.xml文件报错

报错的原因是由于maven的插件版本与IDE版本等存在冲突,此时在里加入<maven-jar-plugin.version>3.1.1</maven-jar-plugin.version>即可。

springboot实现模糊查询功能

使用springboot来实现模糊查询功能,在这之前我已经配置好了相关的依赖和yml。实体类我定义成Question,服务层私有化了searchmapper对象。直接进入controller类,代码如下:public List<Question> query(String question){Example example =new Example(Question.class);Sy

Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object

原本之前的虚拟机还是好好的,Hive能够正常使用.这两天HIVE在执行select查询语句的时候,突然遇到了这个报错.Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object从字面上翻译是配置文件错误,但是也没有说明到底是哪个配置文件错误.想改也无从下手.于是乎

快速排序(详细讲解)

如今的面试里面,快速排序成了一项必须要掌握的技能,面试官考快排的概率非常大,不管是从思路上还是实践上,都基本必问.快速排序是一个既高效又不浪费空间的一种排序算法.下面来详细讲解一番快速排序:假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数。选取第一个数6作为基准数。在这个序列中,将所有比基准数大的数放在6的右边,比基准数小的数放

到底了