在CentOS 6.8下安装Hadoop 3.1.1完全分布式的步骤如下：
环境准备
1、确保系统已经安装了Java，可以通过在终端输入java -version来查看是否已经安装Java，如果没有安装，可以通过以下命令进行安装：
sudo yum install java-1.7.0-openjdk
2、配置Java环境变量，编辑/etc/profile文件，添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.91-2.6.33.4.el6_8/jre export PATH=$PATH:$JAVA_HOME/bin
然后执行source /etc/profile使配置生效。
下载并解压Hadoop
1、我们需要从Apache官网下载Hadoop的安装包，可以通过以下命令下载：
wget http://apache.mirrors.tds.net/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
2、下载完成后，我们需要解压这个安装包，可以通过以下命令解压：
tar -zxvf hadoop-3.1.1.tar.gz
配置Hadoop环境
1、复制Hadoop的配置文件模板：
cd hadoop-3.1.1 cp etc/hadoop/*.xml etc/hadoop-cluster/*.xml /etc/hadoop/conf/
2、配置Hadoop的环境变量，编辑/etc/profile文件，添加以下内容：
export HADOOP_HOME=/home/hadoopuser/hadoop-3.1.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行source /etc/profile使配置生效。
配置Hadoop集群
1、配置Hadoop的主节点：在主节点上，修改etc/hadoop/core-site.xml文件，设置hdfs和yarn的地址：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
2、配置Hadoop的工作节点：在工作节点上，修改etc/hadoop/core-site.xml文件，设置hdfs和yarn的地址：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
启动Hadoop集群
1、我们需要格式化HDFS：
start-dfs.sh -format
2、我们可以启动Hadoop集群：
start-all.sh
验证Hadoop集群状态
我们可以通过访问Web界面来查看Hadoop集群的状态，在浏览器中输入http://master:50070，如果能看到Hadoop的管理界面，那么就说明我们的Hadoop集群已经成功启动了。
问题与解答栏目：Q&A （请提出两个与本文相关的问题，并做出解答）
原创文章，作者：K-seo，如若转载，请注明出处：https://www.kdun.cn/ask/331489.html
微信扫一扫 