配置核心文件

core-site.xml

编辑core-site.xml(进入hadoop文件夹内)

vim etc/hadoop/core-site.xml

--------------------------------------------------------

   

   

        fs.deaultFS

        hdfs://hadoop100:8020

   

   

   

        hadoop.tmp.dir

        /opt/module/hadoop-3.1.3/data

   

   

hadoop.http.staticuser.user

root

----------------------------------------------------------

hdfs-site.xml

vim etc/hadoop/hdfs-site.xml

---------------------------------------------------------

dfs.namenode.http-address

hadoop100:9870

dfs.namenode.secondary.http-address

hadoop102

----------------------------------------------------------

yarn-site.xml

vim etc/hadoop/hdfs-site.xml

----------------------------------------------------------

   

       

            yarn.nodemanager.aux-services

            mapreduce_shuffle

       

   

       

            varn.resourcemanager.hostname

            hadoop101

       

   

       

            varn.nodemanager.eny-whitelist

            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOPYARN_HOME.HADOOP_MAPRED_HOME

       

-----------------------------------------------------------

mapred-site.xml

vim etc/hadoop/mapred-site.xml

-----------------------------------------------------------

   

       

            mapreduce.framework.name

            yarn

       

-----------------------------------------------------------

配置完后要分发给其他服务器，可以使用之前写的分发脚本xsync进行快速分发

配置workers(各集群节点)

vim etc/hadoop/workers

-----------------------------------------------------------

hadoop102

hadoop103

hadoop104

-----------------------------------------------------------

启动集群

如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意:格式化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停上 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化）

hdfs namenode -format

启动hdfs

sbin/start-dfs.sh

在配置了ResourceManager(hadoop103)的节点启动YARN

sbin/start-yarn.sh

web查看HDFS的NameNode：

浏览器输入：http://hadoop102:9870

web查看YARN的ResourceManager

浏览器输入: http://hadoop103:8088

集群基本测试

上传文件到集群

hadoop fs -mkdir /xxx

hadoop fs -put /xxx

查看HDFS在磁盘存储文件内容

cd /hadoop-3.1.3/data/dfs/data/current/BP-349999175-192.168.10/current/finalized/subdiro/subdir0

cat blk_1073741825

参考阅读

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：