目录

一、Hadoop部署的三种方式

1、Standalone mode（独立模式）

2、Pseudo-Distributed mode（伪分布式模式）

3、Cluster mode（集群模式）

二、准备工作

1、先完成zk高可用搭建

2、/etc/hosts增加内容

3、各台服务器分别创建目录

4、关闭防火墙和禁用swap交换分区

5、三台机器间免密

6、安装jdk

7、下载好hadoop安装包

三、高可用配置

1、配置core-site.xml

2、配置hdfs-site.xml

3、配置yarn-site.xml文件

4、配置mapred-site.xml

5、配置workers

6、修改配置hadoop-env.sh

四、分发文件

五、启动服务

六、查看服务

一、Hadoop部署的三种方式

1、Standalone mode（独立模式）

独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）

伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（集群模式）

单Namenode节点模式-高可用HA模式

集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

本教程主要安装 多Namenode 节点 高可用集群模式

二、准备工作

1、先完成zk高可用搭建

​​​​​​​​​​​​​​【大数据入门核心技术-Zookeeper】（五）ZooKeeper集群搭建

2、/etc/hosts增加内容

172.30.1.56 hadoop001

172.30.1.57 hadoop001

172.30.1.58 hadoop001

3、各台服务器分别创建目录

mkdir -p /data/bigdata/hadoop/tmp

mkdir -p /data/bigdata/hadoop/var

mkdir -p /data/bigdata/hadoop/dfs/name

mkdir -p /data/bigdata/hadoop/dfs/data

mkdir -p /data/bigdata/hadoop/jn

4、关闭防火墙和禁用swap交换分区

1)关闭防火墙和SeLinux

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/sysconfig/selinux

2)禁用swap交换分区

swapoff -a && sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/sysconfig/selinux

5、三台机器间免密

生成密钥

ssh-keygen -t rsa

将密钥复制到其他机器

ssh-copy-id slave1
ssh-copy-id slave2

6、安装jdk

将jdk目录复制到/usr/local

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

java -version

查看结果

 java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

7、下载好hadoop安装包

下载地址

Apache Hadoop 

本次以hadoop3.2.1下载为例

解压
tar zxvf hadoop-3.2.1.tar.gz -C /usr/local

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile

三、高可用配置

1、配置core-site.xml

fs.defaultFShdfs://myclusterhadoop.tmp.dir/data/bigdata/hadoop/tmpha.zookeeper.quorumhadoop101:2181,hadoop102:2181,hadoop103:2181ipc.client.connect.max.retries20ipc.client.connect.retry.interval5000

2、配置hdfs-site.xml

dfs.namenode.name.dir/data/bigdata/hadoop/dfs/namedatanode 上存储 hdfs 名字空间元数据dfs.datanode.data.dir/data/bigdata/hadoop/dfs/datadatanode 上数据块的物理存储位置dfs.replication2副本个数，默认配置是 3，应小于 datanode 机器数量dfs.webhdfs.enabledtruedfs.permissions.enabledfalsedfs.journalnode.edits.dir/data/bigdata/hadoop/jndfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1,nn2,nn3dfs.namenode.rpc-address.mycluster.nn1hadoop101:8020dfs.namenode.rpc-address.mycluster.nn2hadoop102:8020dfs.namenode.rpc-address.mycluster.nn3hadoop103:8020dfs.namenode.http-address.mycluster.nn1hadoop101:9870dfs.namenode.http-address.mycluster.nn2hadoop102:9870dfs.namenode.http-address.mycluster.nn3hadoop103:9870dfs.namenode.shared.edits.dirqjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/myclusterdfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsadfs.ha.automatic-failover.enabledtrue

3、配置yarn-site.xml文件

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idcluster-yarn1yarn.resourcemanager.ha.rm-idsrm1,rm2,rm3yarn.resourcemanager.hostname.rm1hadoop101yarn.resourcemanager.webapp.address.rm1hadoop101:8088yarn.resourcemanager.address.rm1hadoop101:8032yarn.resourcemanager.scheduler.address.rm1hadoop101:8030yarn.resourcemanager.resource-tracker.address.rm1hadoop101:8031yarn.resourcemanager.hostname.rm2hadoop102yarn.resourcemanager.webapp.address.rm2hadoop102:8088yarn.resourcemanager.address.rm2hadoop102:8032yarn.resourcemanager.scheduler.address.rm2hadoop102:8030yarn.resourcemanager.resource-tracker.address.rm2hadoop102:8031yarn.resourcemanager.hostname.rm3hadoop103yarn.resourcemanager.webapp.address.rm3hadoop103:8088yarn.resourcemanager.address.rm3hadoop103:8032yarn.resourcemanager.scheduler.address.rm3hadoop103:8030yarn.resourcemanager.resource-tracker.address.rm3hadoop103:8031yarn.resourcemanager.zk-addresshadoop101:2181,hadoop102:2181,hadoop103:2181yarn.resourcemanager.recovery.enabledtrueyarn.resourcemanager.store.classorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateSt oreyarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS
SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEyarn.resourcemanager.zk-max-znode-size.bytes104857600yarn.resourcemanager.store.classorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

4、配置mapred-site.xml

mapreduce.framework.nameyarnmapreduce.jobhistory.addresshadoop101:10020mapreduce.jobhistory.webapp.addresshadoop101:19888

5、配置workers

hadoop101
hadoop102
hadoop103

6、修改配置hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

四、分发文件

scp -r /usr/local/hadoop-3.2.1 hadoop102:/usr/local

scp -r /usr/local/hadoop-3.2.1 hadoop103:/usr/local

五、启动服务

在各个 JournalNode 节点上（每台虚拟机），输入以下命令启动 journalnode 服务

hdfs --daemon start journalnode

node1上格式化namenode
hdfs namenode -format

node1上启动namenode
hdfs --daemon start namenode

在 [nn2,nn3] 上，同步 nn1 的元数据信息
hdfs namenode -bootstrapStandby

在node1节点上格式化ZKFC
hdfs zkfc -formatZK

node1节点上启动HDFS和Yarn
start-dfs.sh
start-yarn.sh

到此hadoop高可用集群搭建就完成了。

六、查看服务

jps

查看yarn服务状态

yarn rmadmin  -getAllServiceState

yarn rmadmin -getServiceState rm1

zkCli.sh 客户端查看 ResourceManager 选举锁节点内容：

get -s /yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock