创建hive表和使用Load data指令导入数据的注意事项
创建hive表和使用Load data指令导入数据的注意事项（一）创建hive数据库和表1.1 类似于MySql创建命令，创建数据库和表，并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘hive> CREATE DATABASE yyz_workdb;hive> create external table test_user(&
·
创建hive表和使用Load data指令导入数据的注意事项
（一）创建hive数据库和表
1.1 类似于MySql创建命令，创建数据库和表，并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘
hive> CREATE DATABASE yyz_workdb;
hive> create external table test_user(
> user_id int comment 'userID',
> user_name string comment 'userName'
> )
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/hive_hdfs_local_data';1.1.1 默认记录和字段分隔符：
\n 每行一条记录
^A 分隔列（八进制 \001）
^B 分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔（八进制 \002）
^C 分隔MAP中键值对的“键”和“值”（八进制 \003）
1.1.2 自定义分隔符：
CREATE TABLE test(
……
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TERMINATED BY '\003'
LINES TERMINATED BY '\n'1.1.3 查看信息：
hive> DESCRIBE DATABASE yyz_workdb;
OK
yyz_workdb hdfs://localhost:9002/user/hive/warehouse/yyz_workdb.db a6 USER
Time taken: 0.037 seconds, Fetched: 1 row(s)
hive> DESCRIBE DATABASE EXTENDED yyz_workdb;
OK
yyz_workdb hdfs://localhost:9002/user/hive/warehouse/yyz_workdb.db a6 USER
Time taken: 0.032 seconds, Fetched: 1 row(s)
hive> desc test_user;
OK
user_id int userID
user_name string userName
Time taken: 0.069 seconds, Fetched: 2 row(s)CREATE TABLE test(
……
)
PARTITIONED BY ( country STRING ); #分区键和字段不能重复（二）加载数据，将本地或者hdfs上数据导入hive表
2.1 命令格式如下：
LOAD DATA LOCAL INPATH '/path/to/local/files'
OVERWRITE INTO TABLE test
PARTITION (country='CHINA')有LOCAL表示从本地文件系统加载（文件会被拷贝到HDFS中）
无LOCAL表示从HDFS中加载数据（注意：文件直接被移动！！！而不是拷贝！！！ 并且。。文件名都不带改的。。）
OVERWRITE 表示是否覆盖表中数据（或指定分区的数据）（没有OVERWRITE 会直接APPEND，而不会滤重!）
此外，如果加载同样文件名的文件，会被自动重命名：
（三）测试命令如下：加载数据，将本地或者hdfs上数据导入hive表
1. 建表：创建表，并指定它在hdfs上的存储数据的目录
create external table test_user(
user_id int comment 'userID',
user_name string comment 'userName'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/hive_hdfs_local_data';
2.准备数据：
2.1 在本地创建一个存储数据的文本文件，准备上传，内容如下：
localhost:hdfs_local_data a6$ more user_info.txt
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5localhost:result_data a6$ more user_info_overwrite.txt
2014006 小王6
2014007 小李7hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info.txt' INTO TABLE test_user;
3.1 查看结果
3.1.1 查看hive表数据
hive> select * from test_user;
OK
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
Time taken: 0.161 seconds, Fetched: 5 row(s)localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x 1 a6 supergroup 80 2017-11-04 11:06 /hive_hdfs_local_data/user_info.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info.txt
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info.txt' INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.811 secondshive> select * from test_user;
OK
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
Time taken: 0.184 seconds, Fetched: 10 row(s)localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 2 items
-rwxr-xr-x 1 a6 supergroup 80 2017-11-04 11:06 /hive_hdfs_local_data/user_info.txt
-rwxr-xr-x 1 a6 supergroup 80 2017-11-04 11:18 /hive_hdfs_local_data/user_info_copy_1.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info_copy_1.txt
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
3.3 测试使用带overwrite加载本地数据的load data命令：
3.3.1 准备写入追加文件，内容如下：
localhost:result_data a6$ more user_info_overwrite.txt
2014006 小王6
2014007 小李7hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info_overwrite.txt' OVERWRITE INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.53 secondshive> select * from test_user;
OK
2014006 小王6
2014007 小李7
Time taken: 0.142 seconds, Fetched: 2 row(s)
3.3.4 查看存储hive表的hdfs目录的变化
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x 1 a6 supergroup 32 2017-11-04 11:21 /hive_hdfs_local_data/user_info_overwrite.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info_overwrite.txt
2014006 小王6
2014007 小李7
所以不能轻易使用overwrite进行插入数据，因为会覆盖原来已经存储的hive数据呢
4. 下面测试一下将hdfs的文件导入hive数据表。
4.1 准备存储姚导入数据文件的hdfs目录，并上传需要导入hive表的文件
localhost:result_data a6$ hadoop fs -mkdir /hive_input_data
localhost:result_data a6$ hadoop fs -put user_info.txt /hive_input_data
17/11/04 11:34:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
Found 1 items
-rw-r--r-- 1 a6 supergroup 80 2017-11-04 11:34 /hive_input_data/user_info.txtlocalhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x 1 a6 supergroup 32 2017-11-04 11:21 /hive_hdfs_local_data/user_info_overwrite.txthive> select * from test_user;
OK
2014006 小王6
2014007 小李7
Time taken: 0.209 seconds, Fetched: 2 row(s)hive> LOAD DATA INPATH '/hive_input_data/user_info.txt' OVERWRITE INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.729 secondshive> select * from test_user;
OK
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
Time taken: 0.128 seconds, Fetched: 5 row(s)localhost:result_data a6$ hadoop dfs -ls /hive_input_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:38:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
4.3.3 同时也观察下该hive表存储数据目录的变化；
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
-rwxr-xr-x 1 a6 supergroup 80 2017-11-04 11:34 /hive_hdfs_local_data/user_info.txt
所以一般要慎重使用overwrite。
4.4 下面测试不带overwrite参数，将hdfs上的数据
4.4.1 上传本地文件到hdfs目录
localhost:result_data a6$ hadoop fs -put user_info_overwrite.txt /hive_input_data
17/11/04 11:50:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
Found 1 items
-rw-r--r-- 1 a6 supergroup 32 2017-11-04 11:50 /hive_input_data/user_info_overwrite.txthive> select * from test_user;
OK
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
Time taken: 0.242 seconds, Fetched: 5 row(s)hive> LOAD DATA INPATH '/hive_input_data/user_info_overwrite.txt' INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.648 secondshive> select * from test_user;
OK
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
2014006 小王6
2014007 小李7
Time taken: 0.169 seconds, Fetched: 7 row(s)
hive>localhost:result_data a6$ hadoop dfs -ls /hive_input_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:51:48 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$
4.5.3 下面看一下存储hive表数据的hdfs目录里面的文件情况
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:53:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rwxr-xr-x 1 a6 supergroup 80 2017-11-04 11:34 /hive_hdfs_local_data/user_info.txt
-rwxr-xr-x 1 a6 supergroup 32 2017-11-04 11:50 /hive_hdfs_local_data/user_info_overwrite.txt
无需安装部署，在线快速体验 Byzer
更多推荐
14
0- 0
已为社区贡献17条内容
所有评论(0)