前言

此实验搭建3个虚拟节点，一个mater，一个slave1，一个slave2

集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但在物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：

NameNode、DataNode、SecondaryNode

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：

ResourceManager、NodeManager

那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

一、集群部署方式

Hadoop部署方式分三种：

1、Standalone mode（独立模式）

独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）

伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（群集模式）单节点模式-高可用HA模式

集群模式主要用于生产环境部署，会使用n台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

二、Hadoop集群规划

Hadoop是典型的主从架构。HDFS的NameNode是主，DataNode是从，YARN的ResourceManager是主，NodeManager是从。在正式集群部署之前，我们首先要做规划，规划好每个主机/节点分别运行Hadoop的哪些进程，这样做，至少有两个好处：1、指导部署，没有规划图，很可能部署过程中就容易迷失，一个小小的细节没处理好，可能导致集群启动失败；2、方便日后查询，例如查询哪些进程在哪些节点上运行等。

此次部署的规划如下：（说明：每个人的虚拟机的IP网段可能都不一样，要根据实际虚拟机修改下表的IP地址，我的是192.168.241.xxx）

Hadoop集群规划

主机IP

主机的主机名

HDFS

YARN

192.168.241.100

master

NameNode DataNode

ResourceManager NodeManager

192.168.241.101

slave1

文章来源

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：