Hive3.1.2版本完全分布式安装部署保姆级教程

注意:hive安装只需在主节点进行即可

Hive安转前准备条件:

(1).hadoop集群安装配置完毕并启动,可参考:hadoop3.1.3版本完全分布式集群搭建搭建_『Auraro』的博客-CSDN博客

 (2).mysql5.7.x版本安装部署完成

 (3).Hive安装所需软件包

Hive分布式部署安装所需软件包_『Auraro』的博客-CSDN博客

1,mysql安装

1.1,卸载Centos7自带的mariadb

//查看Centos7自带的mariadb

[root@node01 ~]# rpm -qa|grep mariadb     

mariadb-libs-5.5.68-1.el7.x86_64

#删除Centos7自带的mariadb

[root@node1 ~]# rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps

//再次查看是否删除

[root@node01 ~]# rpm -qa|grep mariadb 

1.2,安装mysql

#在/opt/目录下创建mysql文件夹来安装部署mysql

[root@node01 opt ]# mkdir mysql

#上传mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar至/opt/mysql文件目录下并解压

[root@node01 mysql ]# tar xvf  mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

#如果不小心上传至其他文件夹可使用以下命令更换位置

[root@node01 ~ ]# mv mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar /opt/mysql/

#执行安装

[root@node1 mysql]# yum -y install libaio

[root@node1 mysql]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

--------------------------------------------------------------------------------------------------------------------------------- 问题1:该步骤需要注意mysql包的版本号问题,当版本号无误时出现警告迷药之类词语以及依赖检测失败时 在该命令后面添加""--force --nodeps" 即可解决问题 ---------------------------------------------------------------------------------------------------------------------------------#执行安转过程显示

warning: mysql-community-common-5.7.29-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY

Preparing... ################################# [100%]

Updating / installing...

1:mysql-community-common-5.7.29-1.e################################# [ 25%]

2:mysql-community-libs-5.7.29-1.el7################################# [ 50%]

3:mysql-community-client-5.7.29-1.e################################# [ 75%]

4:mysql-community-server-5.7.29-1.e################ ( 49%)

2,mysql初始化设置

2.1,mysql初始化

[root@node1 mysql]# mysqld --initialize

2.2,更改所属组

[root@node1 mysql]# chown mysql:mysql /var/lib/mysql -R

2.3,启动mysql服务

[root@node1 mysql]# systemctl start mysqld.service

2.4,查看生成的临时mysql root密码

[root@node1 mysql]# cat /var/log/mysqld.log

#此行代码的结尾是登录mysql的密码,密码是随机的,登录时请注意生成的密码

2023-08-31T13:31:18.219531Z 1 [Note] A temporary password is generated for

root@localhost: LHBqZil6go(w

3,mysql设置

#授权远程访问 设置开机自启动

3.1,登录mysql

[root@node1 mysql]# mysql -u root -p

#mysql登录显示

Enter password: #这里输入在"2.4,查看生成的临时mysql root密码"中生成的临时密码

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 3

Server version: 5.7.29

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

3.2,更新mysql的root密码设置为hadoop

mysql> alter user user() identified by "hadoop";

3.3,授权

mysql> use mysql;

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES;

---------------------------------------------------------------------------------------------------------------------------------

#ctrl+d    退出mysql登录

#mysql的启动和关闭 状态查看 （这几个命令必须记住）   systemctl stop mysqld   systemctl status mysqld   systemctl start mysqld

---------------------------------------------------------------------------------------------------------------------------------

3.4,设置开机自启服务

[root@node1 ~]# systemctl enable  mysqld    

3.5,查看是否已经设置自启动成功

[root@node1 ~]# systemctl list-unit-files | grep mysqld

#显示中存在以下一行代码即可

  mysqld.service                                enabled 

4,Hive安装部署

4.1,上传压缩包并解压

#将hive压缩包解药至/opt/文件目录下并重命名文件

[root@node1 ~]tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/

#重命名

[root@node1 opt]# mv apache-hive-3.1.2-bin.tar.gz hive

4.2,解决Hive与Hadoop之间guava版本差异(依赖冲突)

[root@node1 opt]# cd hive

[root@node1 hive]# rm -rf /lib/guava-19.0.jar        //guava-19.0.jar为hive3.1.2版本独有,其他版本需要自行查看并删除

[root@node1 hive]# cp /opt/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib/             //guava-27.0-jre.jar为hadoop-3.1.3版本独有,其他版本需要自行查看并添加

4.3,文件配置

4.3.1,hive环境变量配置

[root@node1 hive]# cd conf

 [root@node1 hive]# vim /etc/profile

export HIVE_HOME=/opt/hive

export PATH=$PATH:$HIVE_HOME/bin

#执行文件 

. /etc/profile

#重命名 hive-env.sh.template 文件

[root@node1 conf]# mv hive-env.sh.template hive-env.sh

#配置 hive-env.sh 文件

[root@node01 conf]# vim  hive-env.sh

#添加到第二自然段结尾

#注意修改hadoop文件路径

#注意查看路劲以及hadoop与hive文件名

export HADOOP_HOME=/opt/hadoop

export HIVE_CONF_DIR=/opt/hive/conf

export HIVE_AUX_JARS_PATH=/opt/hive/lib

4.3.2,配置 hive-site.xml 文件

#hive-site.xml为不存在文件需要我们在/opt/hive/conf文件里新创建文件并加入以下内容

[root@node01 conf]# vim  hive-site.xml

#添加

javax.jdo.option.ConnectionURL

jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

hadoop

hive.server2.thrift.bind.host

hadoop01

hive.metastore.uris

thrift://hadoop01:9083

hive.metastore.event.db.notification.api.auth

false

hive.metastore.schema.verification

false

#复制粘贴后注意查看内容是否齐全,如果不齐全需要自行补齐

4.4.3,上传mysql jdbc驱动到hive安装包lib下

[root@node01 conf]# cd /opt/hive/lib

#mysql jdbc驱动下载可到Hive分布式部署安装所需软件包_『Auraro』的博客-CSDN博客

#mysql jdbc驱动包:mysql-connector-java-5.1.32.jar

#将mysql-connector-java-5.1.32.jar 上传到/opt/hive/lib文件目录下

5,hive初始化元数据(启动)

[root@node01 conf]# cd /opt/hive

[root@node1 hive]# bin/schematool -initSchema -dbType mysql -verbos 

文章来源

 您阅读本篇文章共花了：