网络大数据-hadoop

1.hadoop介绍

1.1 起源

1.2 版本

1.3生产环境版本选择

Hadoop三大发行版本:Apache、Cloudera、Hortonworks

Apache版本最原始的版本

Cloudera在大型互联网企业中用的较多

Hortonworks文档较好

1.4架构

hadoop由三个模块组成

分布式存储HDFS

分布式计算MapReduce

资源调度引擎Yarn

分布式文件存储系统HDFS

NameNode主节点主要负责管理集群，保存元数据信息

SecondaryNameNode辅助NameNode做元数据信息备份

DataNode从节点存储数据

资源管理调度系统yarn

ResourceManage主节点主要负责资源调度分配

NodeManager从节点

2.hadoop安装

2.1.关闭防火墙、selinux

### 1.关闭防火墙

systemctl stop firewalld

systemctl enable firewalld

### 2.关闭selinux

vi /etc/sysconfig/selinux

SELINUX=disabled

2.2配置hostname

2.3.机器时钟同步

1.通过网络进行时钟同步安装ntpdate yum -y install ntpdate 阿里云时钟同步服务器 ntpdate ntp4.aliyun.com

定时同步 crontab -e */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

精彩内容

评论可见，请评论后查看内容，谢谢！！！

您阅读本篇文章共花了：

金钥匙