hadoop完全分布式安装搭建步骤

在CentOS 6.8下安装Hadoop 3.1.1完全分布式的步骤如下：

环境准备

1、确保系统已经安装了Java，可以通过在终端输入java -version来查看是否已经安装Java，如果没有安装，可以通过以下命令进行安装：

sudo yum install java-1.7.0-openjdk

2、配置Java环境变量，编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.91-2.6.33.4.el6_8/jre
export PATH=$PATH:$JAVA_HOME/bin

然后执行source /etc/profile使配置生效。

下载并解压Hadoop

1、我们需要从Apache官网下载Hadoop的安装包，可以通过以下命令下载：

wget http://apache.mirrors.tds.net/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

2、下载完成后，我们需要解压这个安装包，可以通过以下命令解压：

tar -zxvf hadoop-3.1.1.tar.gz

配置Hadoop环境

1、复制Hadoop的配置文件模板：

cd hadoop-3.1.1
cp etc/hadoop/*.xml etc/hadoop-cluster/*.xml /etc/hadoop/conf/

2、配置Hadoop的环境变量，编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/home/hadoopuser/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行source /etc/profile使配置生效。

配置Hadoop集群

1、配置Hadoop的主节点：在主节点上，修改etc/hadoop/core-site.xml文件，设置hdfs和yarn的地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

2、配置Hadoop的工作节点：在工作节点上，修改etc/hadoop/core-site.xml文件，设置hdfs和yarn的地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

启动Hadoop集群

1、我们需要格式化HDFS：

start-dfs.sh -format

2、我们可以启动Hadoop集群：

start-all.sh

验证Hadoop集群状态

我们可以通过访问Web界面来查看Hadoop集群的状态，在浏览器中输入http://master:50070，如果能看到Hadoop的管理界面，那么就说明我们的Hadoop集群已经成功启动了。

问题与解答栏目：Q&A （请提出两个与本文相关的问题，并做出解答）