1.Hive产生背景
传统Hadoop架构存在的一些问题：
MapReduce编程必须掌握Java，门槛较高传统数据库开发、DBA、运维人员学习门槛高HDFS上没有Schema的概念，仅仅是一个纯文本文件
Hive的产生：
为了让用户从一个现有数据基础架构转移到Hadoop上现有数据基础架构大多基于关系型数据库和SQL查询Facebook诞生了Hive
2. Hive是什么
官网：https://hive.apache.org/
它是基于Hadoop的数据仓库工具
方便的将结构化数据文件映射为一张数据库表提供SQL查询功能，SQL语句底层转换为MR作业执行Hive提供了一系列功能可以方便进行数据ETL
Hive目前是Apache基金会的顶级项目 Hive作为数据仓库工具，非常适合数据仓库联机分析处理（OLAP）
3.Hive在Hadoop生态系统中的位置
4.Hive与传统关系型数据库的异同
HIVERDBMS查询语言HQLSQL数据存储HDFS块设备、本地文件系统执行MapReduceExecutor执行延迟高低处理数据规模大小事务0.14版本后加入支持索引 0.8版本后加入 有复制的索引数据更新不支持支持
5.Hive的特点及优势
Hive与SQL有着相似的语法，大大提高开发效率
Hive支持运行在不同的计算框架上：MapReduce、Tez、Spark、Flink等。
Hive支持HDFS与HBase上的ad-hoc（点对点模式）
Hive支持用户自定义函数、脚本等
Hive设计特点：
Hive不支持对数据的改写和添加，所有数据都是在加载的时候确定的支持索引，加快数据查询不同的存储类型，例如：文本文件、序列化文件将元数据保存在关系数据库中，减少了在查询中执行语义检查时间可以直接使用存储在Hadoop文件系统中的数据类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoop集群上执行编码跟Hadoop同样使用UTF-8字符集
在生产环境中，Hive有如下优势
可扩展，Hive可以自由扩展集群规模，拓展功能方便延展性，Hive支持自定义函数，用户可根据需求自定义容错性，良好的容错性
解决了传统关系数据库在大数据处理上的瓶颈；适合大数据的批量处理。 充分利用集群的CPU计算资源、存储资源，实现并行计算。 Hive支持标准SQL语法，免去了编写MR程序的过程，减少了并发成本。
6.Hive的框架设计
Hive的架构设计包括三个部分：
Hive Client
Hive客户发，可通过Java、Python等语言连接Hive并进行与RDBMS类似的SQL查询操作
Hive Service
Hive服务端，客户端必须通过服务端与Hive交互，主要包括CLI、HiveServer、HiveWebInterface等组件
Hive Storage and Computing
包含Hive的数据存储与计算的内容，Hive元数据存储在RDBMS中，数据存储在HDFS中，计算由MR完成
Hive框架图：
Hive架构主要包括： CLI、HiveServer2、HWI、Driver、Metastore Hive数据存储模型与RDBMS类似，分区和分桶是Hive为提升查询性能而特有的概念 Hive元数据释对真实数据的描述，通常单独存储在MYSQL中 Hive除了两种命令行开发工具（CLI和Beeline）之外还有许多第三方工具（HUE、Ambari、zeppelin）
Hive的工作流程图：
序号操作1执行查询。Hive接口，如命令行或Web UI发送查询驱动程序（任何数据库驱动程序，如JDBC，ODBC等）来执行。2获取计划。在驱动程序帮助下查询编译器，分析查询检查语法和查询计划或查询的要求。3获取元数据，编译器发送元数据请求到Metastore(任何数据库)。4Metastore发送元数据，作为对编译器的响应。5编译器检查要求，并重新发送计划给驱动程序。到此为止，查询解析和编译完成。6驱动程序发送的执行计划到执行引擎。7在内部，执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker，在名称节点并把它分配作业到TaskTracker，这是在数据节点。在这里，查询执行MapReduce工作。与此同时，在执行时，执行引擎可以通过Metastore执行元数据操作。（虚线部分）8执行引擎接收来自数据节点的结果。9执行引擎发送这些结果值给驱动程序。10驱动程序将结果发送给Hive接口。
7.Hive的适用场景
Hive的劣势 Hive的HQL表达能力有限：有些复杂运算用HQL不易表达；效率低：Hive自动生成MR作业，通常不够智能。
业务场景
适用于非结构化数据的离线分析统计Hive的优势在于处理大数据，对处理小数据没有优势
不适用场景
复杂的机器学习算法复杂的科学计算联机交互式实时查询
场景技术特点
为超大数据集设计的计算、扩展能力支持SQL like查询语言多表的join操作支持非结构化数据的查询、计算提供对数据存取的编程接口，支持JDBC、ODBC
8.Hive 的存储格式
Hive中的数据 有真实数据与元数据之分，元数据是表示真实数据与Hive表的映射关系 Hive真实数据的存储格式
TEXTFILE，文本文件格式SEQUENCEFILE，二进制序列化过的文本存储文件格式RCFILE，面向列的数据存储格式ORCFILE，对RCFILE的优化格式
存储模型 Hive数据在HDFS的典型存储结构表现
/数据仓库地址/数据库名/表名/数据文件（或分桶文件） /数据仓库地址/数据库名/表名/分区键/数据文件（或分桶文件）
Hive数据存储模型图:
9.Hive数据单元介绍
Databases：数据库，在HDFS中为hive.metastore.warehouse.dir目录下的一个文件夹。 Tables：表，表由列构成，在表上可以进行过滤、映射、连接和联合操作，在HDFS中为数据库目录下的子目录。 Hive表分为内部表和外部表：内部表类似于RDBMS中的表，由Hive管理 外部表指向已经存在HDFS中的数据，外部表的真实数据不被Hive管理。
Partitions 分区，每个表都可以按指定的键分为多个分区，作用是为了提高查询的效率，在HDFS中是表目录的子目录。
Buckets 分桶，根据表中某一列的哈希值将数据分为多个桶，在HDFS最终为同一目录下根据哈希散列后的多个文件。
10.Hive的数据类型
（1）基本
整型 TINYINT、SMALLINT、INT、BIGINT 使用整数面量时，默认是INT，其他整型需要加后缀，TINYINT、SMALLINT、BIGINT后缀为Y、S、L
浮点型 FLOAT、DOUBLE、DECIMAL
文本类型 STRING、CHAR、VARCHAR
布尔及二进制 BOOLEAN（布尔值型），值为true和false ；BINARY（二进制型） 时间类型 DATE，存储日期 ；TEMESTAMP，存储纳秒级别时间戳 ；INTERVAL，存储时间间隔
（2）复杂
ARRAY 具有相同类型变量的集合，如：[“a”,”b”] MAP 一组键值对组合，如：{“a”:”b”,”c”:”d”} STRUCT 封装了一组有名字的字段，其类型可以是任意基本类型 UNIONTYPE 类似于Java中的泛型，任一时刻只有其中一种类型生效
相关链接
您阅读本篇文章共花了：
发表评论