logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive 数据仓库跟mysql数据库的区别

1、查询语言不同:hive是hql语言,mysql是sql语句;2、数据存储位置不同:hive是把数据存储在hdfs上,而mysql数据是存储在自己的系统中;3、数据格式:hive数据格式可以用户自定义,mysql有自己的系统定义格式;4、数据更新:hive不支持数据更新,只可以读,不可以写,而sql支持数据更新;5、索引:hive没有索引,因此查询数据的时候是通过mapreduce很暴力的把数据

#数据库#hive#mysql
hive on spark

前置准备CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive首先先配置mavenIndex of /dist/maven/maven-3下载maven我下的是3.6.0版本至少要3.1.3以上才能编译同样解压到soft目录下配置环境变量spark底层用的还是scala代码 所以顺便装上了scala 后

#hive#spark#hadoop
gaussDB数据库常用操作命令

GaussDB命令行连接1.1ssh连接主机,IP:192.168.28.178,用户名:root,密码:Huawei@1231.2 切换至bin目录,cd /home/gaussdba/app/bin/1.3 切换用户为gaussdba,su gaussdba1.4 连接gaussDb,gsql -d postgres -p 5432基本操作命令...

#数据库#p2p#ssh
flume读取文件到kafka

1.进入flume官网 www.org.apache.flume.com点击第三个2.使用kafka前需要先开启zookeeper3.编写配置文件读文件首先最好去头 写好配置文件user.channels = c1user.sources = s1user.sinks = k1user.sources.s1.type = spooldiruser.sources.s1.spoolDir = /op

#flume#大数据#big data +1
gaussDB数据库常用操作命令

GaussDB命令行连接1.1ssh连接主机,IP:192.168.28.178,用户名:root,密码:Huawei@1231.2 切换至bin目录,cd /home/gaussdba/app/bin/1.3 切换用户为gaussdba,su gaussdba1.4 连接gaussDb,gsql -d postgres -p 5432基本操作命令...

#数据库#p2p#ssh
sqoop实现hive数据到mysql

首先对应你的hive数据库查看你的表结构然后在mysql创建同样的表结构记住数据的位置要相同名称也要相同打开虚拟机然后输入命令//hive_userssqoop export \--connect jdbc:mysql://192.168.80.181:3306/personas \--username root \--password okok \--table hive_users \--ex

#hive#mysql#sqoop
spark-hdfs-hive-hbase

打开虚拟机首先确保虚拟机上安装了hadoop spark hive hbase然后依次启动启动hbase 首先先确保 先启动zekooperhadoop启动命令 start-all.shhive 启动 hive --service hiveserver2 & 后台启动 不想后台的话就不用加&zkserve.sh start 启动zekooperhbase start-hbase.s

#spark#大数据#big data
到底了