Apache版Hadoop的下载与安装

首先,我们要下载Hadoop安装包,这里我放的apache版Hadoop3安装包,百度网盘下载链接:https://pan.baidu.com/s/1fKtGK_QrxQ5ngiPuILWOkA 提取码:y5st 以及相应的java安装包,如果java环境版本和Hadoop版本不适配会导致安装失败: 链接:https://pan.baidu.com/s/1VFEVhW_yW96TA9kk5VCEQg 提取码:jr04

将Hadoop安装包解压

[vagary@vagary software]$ tar -zxvf hadoop-3.1.3.tar.gz ../app/

然后创建软连接

[vagary@vagary app]$ ln -s hadoop-3.1.3 hadoop

全局变量里声明Hadoop环境变量

export HADOOP_HOME=/home/vagary/app/hadoop

export JAVA_HOME=/home/vagary/app/java

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

将机器名换成一个固定的名称

hostnamectl set-hostname 机器名

###改完之后验证一下hostname

编辑etc/hadoop/core-site.xml文件

fs.defaultFS

hdfs://机器名:9000

更改etc/hadoop/hdfs-site.xml文件,设置副本数

dfs.replication

1

更改etc/hadoop/work文件,设置主机

一般添加机器名,例如:

vagary

设置免登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

命令验证一下

[vagary@vagary ~]$ ssh vagary@vagary date

Thu Mar 17 21:57:47 CST 2022

格式化文件系统

[vagary@vagary bin]$ hdfs namenode -format

启动Hadoop服务

[vagary@vagary ~]$ start-dfs.sh

查看是否启动成功,出现以下结果表示启动成功

[vagary@vagary ~]$ jps

21473 Jps

21049 DataNode

21275 SecondaryNameNode

20926 NameNode

设置执行MapReduce任务所需的HDFS目录

[vagary@vagary bin]$ hdfs dfs -mkdir /user

[vagary@vagary bin]$ hdfs dfs -mkdir /user/

将输入文件复制到分布式文件系统中

[vagary@vagary bin]$ hdfs dfs -mkdir input

[vagary@vagary bin]$ hdfs dfs -put etc/hadoop/*.xml input

运行一个实例验证是否成功

[vagary@vagary bin]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar grep input output 'dfs[a-z.]+'

文章链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: