什么是Hive

hive是基于Hadoop的一个数据仓库工具,可以将结构化数据映射为一张表。 hive支持使用sql语法对存储的表进行查询 (本质上是把sql转成mapreduce的任务执行)

Hive有三个特点:

hive所存储的数据是放在HDFS文件系统中的hive的底层实现是mapreduce这些任务是运行在Yarn上的

如何构建Hive数据仓库

什么是数据仓库

官方定义:数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。

(1)安装hive 常规配置,这里不记录安装过程

唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置 配置的值是hive元数据的存储路径,一般为hdfs文件系统的路径。

安装完成后,需要在mysql中建立配置中指定的数据库并初始化Hive源数据库

(2)安装完成之后就可以启动hive

Hive数据仓库的储存方式

Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中 。

Hive主要有四种数据模型:

Table(表)External Table(外部表)Partition(分区)Bucket(桶)

(1)表的概念和关系型数据库的表很像,只不过hive中的表的本质是结构化数据,存储在hdfs文件系统的目录中。这个目录就是前文着重要求的metastore的位置,文件就是存在那里的。

(2)外部表顾名思义,就是数据不存放在所属目录中,而是存放在别处。

(3)分区,这个很重要,我觉得分区的存在就是数据仓库与关系型数据库最大的区别,表的每一个分区对应表下的相应目录,所有分区的数据都是存储在对应的目录中。 (4)桶:对指定的列计算其hash,根据hash值切分数据,目的是为了并行,每一个桶对应一个文件(注意和分区的区别)。

Hive的元数据

Hive的元数据一般都是放在mysql中的,这样的原因是因为Hive的元数据需要不断的更新、修改,而HDFS系统中的文件是多读少改的,不能将Hive的元数据存储在HDFS中。

hive数据的导入导出

导入

导入的方式有两种

从本地导入数据从HDFS导入数据

(1)从本地向hive导入数据 语法:

load data local

inpath '/opt/dataaplace/...'

(overwrite) into table tablename

partition (partitionfield = xxx);

load data:表示导入数据

local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表

partition (…)表示指定导入数据的分区字段

overwrite表示覆盖写入,如果没有则是追加写入

例子:

load data local

inpath '/opt/data/StudentId.txt'

overwrite into table Student;

(2) 加载HDFS文件到hive中 语法:

load data

inpath '/root/data/...'

(overwrite) into table tablename

partition (partitionfield = xxx);

不加local默认从hdfs中导入数据

hive创建表

create table tablename

(

id int,

name string

)

row format delimited fields terminated by ',';

前半部分和mysql的建表语句一样,后半部分是指定表的分隔符。

插入数据

insert into table tablename values(1,"zhangsan"),(2,"lisi");

insert into:以追加数据的方式插入到表

insert overwrite into table tablename values(1,"zhangsan"),(2,"lisi");

加了overwrite 则是覆盖原来的表然后写入

根据查询结果覆盖写入

insert overwrite table tablename values(3,"wangwu")

select id,name from tablename where id = 1;

创建表时通过Location指定加载数据路径

create table tablename(

id int, name string

)

row format delimited fields terminated by '\t'

location '/root/hive/wirehouse/...';

location 指定的是hdfs中的路径

数据导出

参考博客:添加链接描述

# 1)将查询的结果导出到本地(只能overwrite,不能into,否则会报错)

insert overwrite local directory '/opt/module/hive/datas/export/student'

select * from student;

# 2)将查询的结果格式化导出到本地(所有的insert语句都会跑MR)

insert overwrite local directory '/opt/module/hive/datas/export/student1'

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

select * from student;

# 3)将查询的结果导出到HDFS上(没有local)(是复制,原来的文件还在)

insert overwrite directory '/user/qinjl/student2'

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

select * from student;

注意:insert 导出,导出的目录不用自己提前创建,hive会帮我们自动创建,但是由于是overwrite,所以导出路径一定要写具体,否则很可能会误删数据。

Hadoop命令也可以导出数据到本地

dfs -get /user/hive/warehouse/student/student.txt

/opt/module/hive/datas/export/student3.txt;

Hive Shell 命令导出

hive_dir/bin/hive -e 'select * from ods.order_info;' >>

/opt/module/datas/order_info.txt

hive表也可以通过export 导入到hdfs上

export table ods.user_info to /user/hive/warehouse/user_info;

好文推荐

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: