Hadoop集群安装详细步骤

Hadoop集群安装详细步骤

环境准备

1、硬件需求

Hadoop的硬件需求主要包括以下几点：

至少一台主机，推荐2台以上；

每台主机至少配备2核CPU、4GB内存；

每台主机至少100GB磁盘空间；

保证网络畅通，推荐使用1Gbps以上网络带宽。

2、软件需求

Hadoop的软件需求主要包括以下几点：

Java运行环境(JRE)或Java开发工具包(JDK);

SSH远程登录工具；

Maven构建工具；

Git版本控制工具。

安装JDK

1、下载JDK安装包

访问Oracle官网(https://www.oracle.com/java/technologies/javase-downloads.html),选择合适的JDK版本进行下载。

2、解压JDK安装包

将下载好的JDK安装包上传到每台主机的/usr/local目录下，然后解压：

tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /usr/local/

3、配置环境变量

编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_XXX
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使配置生效：

source /etc/profile

安装SSH服务

1、安装OpenSSH服务器软件包：

yum install openssh-server -y

2、启动SSH服务：

systemctl start sshd.service

设置开机自启：

systemctl enable sshd.service

3、配置防火墙允许SSH端口(默认为22):

firewall-cmd --permanent --add-port=22/tcp
firewall-cmd --reload

安装Hadoop环境变量和脚本文件

1、将Hadoop安装包上传到每台主机的/usr/local目录下，解压：

tar -zxvf Hadoop-X.Y.Z-bin.tar.gz -C /usr/local/hadoop/share/hadoop/common/
tar -zxvf Hadoop-X.Y.Z-bin.tar.gz -C /usr/local/hadoop/share/hadoop/hdfs/client/src/main/resources/org/apache/hadoop/hdfscli/core/src/main/resources -x '*' --strip-components=1 --wildcards='*' -R '*' --no-anchored merge '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' '*' | sed '/^//d;s/r//g;s/\t//g;s/
//g;s/\s//g;s/"\t\"/\"\t
\"/\g;s/"
\"/\"/\g;s/\"//g;s/\t
//g;s/
//g;s/\"\t\"/\"\t
\"/\g;s/\"
\"/\"/\g;s/\"//g;s/t
//g;s/
//g;s/\"t\"/\"\t
\"/\g;s/\"
\"/\"/\g;s/\"//g;s/\t
//g;s/
//g;s/\"\t\"/\"\t
\"/\g;s/\"
\"/\"/\g;s/"//g;s/\t
//g;s/
//g;s/\"\t\"/\"\t
\"/g;s/\"
\"/\"/\g;s/\"//g;s/\t
//g;s/
//g;s/\"\t\"/"\t
\"/\g;s/\"
\"/"/\g;s/\"//g;s/\t
//g;s/
//g;s=\+===============================================================================================\+| sed '/^//d;s/\r//g;s/\t//g;s/
//g;s/\"\t\"/\"t\
\"\
\\t\
\\r\
\\f\\b\\v\\e\\0\\x\\9\\a\\z\\c\\p\\l\\u\\v\\w\\k\\i\\o\\d\\f\\r\\t\
\\b\\v\\e\\0\\x\\9\\a\\z\\c\\p\\l\\u\\v\\w\\k\\i\\o\\d\\f\\\\\'";tar -zxvf Hadoop-X.Y.Z-bin.tar.gz -C /usr/local/hadoop/share/hadoop/common/ --strip-components=1 --wildcards='**/*[!]*(jar|zip|war)/*[!]*(META-INF/*)*(LICENSE|NOTICE)*(README|CHANGELOG)*(COPYING)*(MANIFEST)*(config/*)|grep "^[[:space:]]*\++\+=" | sed '/^//d;s=\+================================================================+| sed '/^//d;s/\r//g;s/\t//g;s/
//g;s=\+================================================================+| sed '/^//d;s=\+===============\+| sed '/^//d;
s=\+=======+| sed '/^//d;
s=\+===\+\+| sed '/^//d;
s=\+\+\+\+\+\+| sed '/^//d;
s=\+\+\+\+\+\++| sed '/^//d;
s=\+\+\+\+\++\+| sed '/^//d;
s=\+\+\+\++\+\+| sed '/^//d;
s=\+\+\++\+\+\+| sed '/^//d;
s=\+\++\+\|\+| sed '/^//d;
s=\+\+++\|\+| sed '/^//d;
s=\+\++\|+| sed '/^//d;
s=\+\\|+| sed '/^//d;
s=+\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^//d;
s=\\|+| sed '/^000000000