Windows 下安装Hive

一、hive与hadoop的兼容选择

hive官网下载地址:https://archive.apache.org/dist/hive/

hadoop官网下载地址:https://archive.apache.org/dist/hadoop/common/

以hive-2.3.5为例

1、下载apache-hive-2.3.5-src.tar.gz

2、解压后,查看apache-hive-2.3.5-src/pom.xml文件

​ 部分内容如下(line 141: 2.7.2 即,hive-2.3.5对应的hadoop版本号是2.7.2

参考资料: https://blog.csdn.net/m0_67401228/article/details/123936108

二、JDK安装

jdk版本:jdk1.8.0_211

1、下载解压至自定义路径下

2、环境变量配置,依次点击我的电脑-属性-高级系统设置-环境变量-新建系统变量,如下图所示: 编辑系统变量Path,添加如下图所示两个值(最好将其复制到文本上编辑) 3、检测是否安装成功

打开cmd, 输入命令java -version 如下图所示:

三、安装Hadoop

1、下载hive-2.3.5对应版本的hadoop-2.7.2.tar.gz 文件,并解压至自定义目录下

2、Hadoop环境变量配置

​ 参考JDK环境变量配置,如下图所示: ​ 编辑系统变量Path,添加如下图所示值(和jdk的path操作一样): 3、测试

​ 打开cmd输入命令: hadoop ,正常应如下图所示: 4、新建目录

​ 在D:\software\hadoop-2.7.2目录下新建data/dfs/namenode与data/dfs/datanode 两个目录文件夹,如下图所示: 5、修改配置文件

进入目录:D:\software\hadoop-2.7.2\etc\hadoop 下:

修改core-site.xml文件,添加如下代码:

fs.defaultFS

hdfs://localhost:9000

修改hdfs-site.xml文件,并将datanode和namenode改为自己的目录:

dfs.replication

1

dfs.namenode.name.dir

/D:/software/hadoop-2.7.2/data/dfs/namenode

dfs.datanode.data.dir

/D:/software/hadoop-2.7.2/data/dfs/datanode

修改mapred-site.xml.template文件,将文件重命名为:修改mapred-site.xml,并添加如下代码:

mapreduce.framework.name

yarn

修改yarn-site.xml文件,并添加如下内容:

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

修改hadoop-env.cmd文件设置java目录:

@rem The java implementation to use. Required.

set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk1.8.0_211

位置如下: 6、下载winutils

​ 由于hadoop不能直接直接在windows环境下启动,需要依赖hadoop的winutils ​ 这里给出两个下载路径首先是 githttps://github.com/cdarlint/winutils

​ 如果大家在git上下载不下来,或者下载慢,这里提供一个百度网盘的下载路径 https://pan.baidu.com/s/1a5et7e6oLir2dgABPJkgqg?pwd=yyds

下载好之后,挑选和你hadoop相同的版本,将bin中的内容直接拷贝到你安装的hadoopbin目录下,有重复的替换即可。 ​ 原文链接:https://blog.csdn.net/weixin_43850384/article/details/126007016

7、格式HDFS,启动Hadoop

​ 格式化HDFS,打开cmd,输入命令

hadoop namenode -format

看到successfully证明成功初始化。 之后切换到hadoop安装目录下的sbin目录(D:\software\hadoop-2.7.2\sbin),输入以下内容:

start-all.cmd

会依次弹出四个命令框,分别为namenode、datanode、resourcemanager、nodemanager

浏览器输入:http://localhost:50070/ 注意:hadoop-3.x版本地址是:http://localhost:9870

8、测试文件上传

​ 切换到hadoop下的bin目录,输入

hadoop fs -mkdir /test

随意上传一个文件:hdfs dfs -put “你的文件路径” /test

hadoop dfs -put /D:/tmp/info.log /test

四、HVIE安装

1、下载apache-hive-2.3.5-bin.tar.gz 文件,并解压至自定义目录下,并重命名为hive-2.3.5

​ 注意当前版本没有cmd命令可以从以前的版本拷贝至相同的目录下

2、Hive环境变量配置

​ 参考JDK环境变量配置,如下图所示: ​ 编辑系统变量Path,添加如下图所示值(和jdk的path操作一样): 3、新建目录

​ 创建如下四个空目录:

D:\software\hive-2.3.5\data_hive\operation_logs

D:\software\hive-2.3.5\data_hive\querylog

D:\software\hive-2.3.5\data_hive\resources

D:\software\hive-2.3.5\data_hive\scratch

4、MySql驱动配置

​ 将mysql-connector-java-5.1.47-bin.jar复制到D:\software\hive-2.3.5\lib目录下,如下图 5、修改配置文件

​ 进入D:\software\hive-2.3.5\conf目录下:

​ 将 hive-log4j2.properties.template 重命名为 hive-log4j2.properties

​ 将 hive-exec-log4j2.properties.template 重命名为 hive-exec-log4j2.properties

​ 修改hive-env.sh文件 ,将hive-env.sh.template文件重命名为hive-env.sh

​ 新增以下内容,路径注意修改为自己的

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=D:\software\hadoop-2.7.2

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=D:\software\hive-2.3.5\conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=D:\software\hive-2.3.5\lib

​ 修改hive-site.xml文件,hive-default.xml.template文件重名为hive-site.xml

​ 路径注意修改为自己的

hive.exec.local.scratchdir

D:/software/hive-2.3.5/data_hive/scratch

Local scratch space for Hive jobs

hive.downloaded.resources.dir

D:/software/hive-2.3.5/data_hive/resources/${hive.session.id}_resources

Temporary local directory for added resources in the remote file system.

​ 6、创建数据库(mysql5.7.*)

​ 创建数据库,注意字符集和排序规则的设置属性

7、再次编辑hive-site.xml文件配置数据库

​ 注意改成自己的

javax.jdo.option.ConnectionPassword

password6

password to use against metastore database

javax.jdo.option.ConnectionUserName

root

Username to use against metastore database

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:13305/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8

JDBC connect string for a JDBC metastore.

To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.

For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

8、测试

​ 启动hadoop

​ 进入D:\software\hadoop-2.7.2\sbin目录下,点击start-dfs.cmd启动两个窗口服务即成功

​ 初始化hive数据库

​ 打开cmd输入下面命令:

hive --service schematool -dbType mysql -initSchema

​ 9、启动hive操作数据库

​ 开的cmd命令窗口,输入:hive 如下图进入hive

文章来源

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: