logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive中控制窗口范围rows between的使用

1.rows between的作用在使用hsql完成一些业务需求的时候,我们经常会用到窗口函数,某些场景下会涉及到需要控制窗口函数的范围来满足业务需求,这个时候就需要用到rowsbetween了,使用rows between可以根据自己的需求任意的控制窗口函数的范围。2.rows between的使用首先我们有一张如下的数据表sidday_timesale_volume1012020-01-031

#hive#hdfs#mapreduce +1
hive中文注释乱码

hive中文注释乱码问题  hive建表的过程经常会碰到字段的中文注释乱码的问题,下面就介绍下如何处理此类问题。1. 修改元数据的编码修改表字段注解和表注解-- 修改表字段注解编码ALTER TABLE columns_v2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8;-- 修改表名注解编码ALTER TABLE table_para

#hive#mysql
hive获取系统当前时间

获取系统当前时间unix_timestamp()在hive中获取系统当前时间可以使用unix_timestamp()函数,不过这个函数获取的是bigint值如下图从上图可以看到获取到了当前系统时间,数值类型是bigint的,但是我们通常是想获取标准时间,这个时候可以和from_unixtime()函数配合使用,得到标准时间。from_unixtime(bigint n,string str)fro

文章图片
#mapreduce#大数据#hadoop +1
Word设置题注快捷键

1. 点击word左上角"文件",如下图所示2. 点击"文件"后,点击"选项",如下图所示3. 选择"自定义功能区",然后点击"自定义",如下图所示4. 点击"自定义"后,在类别中选择"引用选项卡",然后命令中选择"Insert Caption",这两个选择好后,在输入框中输入所要设置的快捷(不用手动输入,直接按自己想设置使用的快捷即可),然后点击"指定",在当前快捷键中就会出现已经设置的快捷键,

spark-submit提交任务报错:java.sql.SQLException:No suitable driver

提交spark任务时一直报错:No suitable driver提交任务命令如下spark-submit \--driver-class-path /opt/sparkJob/mysql-connector-java-5.1.47.jar \--master yarn \--deploy-memory cluster \--driver-memory 4G \--executor-memory

#spark#scala#大数据
spark提交jar包到集群中

这里简单做一个wordcount代码,代码如下object WordCount {def main(args: Array[String]): Unit = {// 创建SparkConfval conf = new SparkConf().setAppName("WordCount")// 创建SparkContextval sc = new SparkContext(conf)// 通过Spa

#spark#jar#scala
安装达梦数据库

安装达梦数据库准备工作软件准备达梦iso镜像DM8-ARM版,提取码d821检查GLIB版本[root@t01 ~]# strings /usr/lib64/libstdc++.so.6|grep GLIBCXXGLIBCXX_3.4GLIBCXX_3.4.1GLIBCXX_3.4.2GLIBCXX_3.4.3GLIBCXX_3.4.4GLIBCXX_3.4.5GLIBCXX_3.4.6GLIBC

#数据库
Kettle连接大数据集群Hadoop

  Ketlle提供了hadoop集群的连接配置模块,在配置“Hadoop cluster”之前要做一些准备工作,将集群中的相关配置文件复制到kettle中的目录中,替换掉原目录中的文件。  1. 需要的配置文件:core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hbase-site.xml、hive-site.xml,这些配置文件

#hadoop
安装达梦数据库

安装达梦数据库准备工作软件准备达梦iso镜像DM8-ARM版,提取码d821检查GLIB版本[root@t01 ~]# strings /usr/lib64/libstdc++.so.6|grep GLIBCXXGLIBCXX_3.4GLIBCXX_3.4.1GLIBCXX_3.4.2GLIBCXX_3.4.3GLIBCXX_3.4.4GLIBCXX_3.4.5GLIBCXX_3.4.6GLIBC

#数据库
    共 16 条
  • 1
  • 2
  • 请选择