准备工作
1、系统环境准备
在安装Hadoop之前,需要确保你的CentOS 6.3系统已经安装了Java环境,可以通过以下命令检查是否已经安装了Java:
java -version
如果没有安装Java,可以通过以下命令安装OpenJDK:
sudo yum install java-1.8.0-openjdk-devel
2、配置防火墙
由于Hadoop需要访问外部网络,所以需要配置防火墙允许访问,可以通过以下命令开放Hadoop所需的端口:
sudo firewall-cmd --permanent --zone=public --add-service=http sudo firewall-cmd --permanent --zone=public --add-service=https sudo firewall-cmd --reload
下载并解压Hadoop安装包
1、下载Hadoop安装包
访问Hadoop官网(https://hadoop.apache.org/releases.html),选择合适的版本(2.4.1)下载对应的tar.gz文件,在本例中,我们下载的是hadoop-2.4.1.tar.gz。
2、将下载的文件上传到服务器
可以使用FTP工具(如FileZilla)或者scp命令将下载好的文件上传到服务器上,假设文件已经上传到/home/user目录下,可以使用以下命令解压文件:
cd /home/user tar -zxvf hadoop-2.4.1.tar.gz
配置Hadoop环境变量
1、编辑Hadoop配置文件
进入解压后的hadoop目录,找到etc/hadoop文件夹,编辑core-site.xml、hdfs-site.xml和mapred-site.xml这三个配置文件,在这些文件中添加以下内容:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
2、设置环境变量
编辑~/.bashrc文件,添加以下内容:
export HADOOP_HOME=/home/user/hadoop-2.4.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行以下命令使环境变量生效:
source ~/.bashrc
格式化HDFS目录结构并启动HDFS服务
1、格式化HDFS目录结构
执行以下命令格式化HDFS目录结构:
hadoop namenode -format
2、启动HDFS服务并设置开机自启动
执行以下命令启动HDFS服务:
start-dfs.sh
为了设置开机自启动,可以将以下命令添加到/etc/rc.local文件中:
su hdfs -c "start-dfs.sh" > /dev/null 2>&1 & echo $! > /var/lock/subsys/hdfs && chmod +x /var/lock/subsys/hdfs && exit 0 || exit $?" >> /etc/rc.local && chmod +x /etc/rc.local && exit $?" >> /var/log/rc.local && chmod +x /var/log/rc.local && exit $?" >> /var/log/rc.locald && chmod +x /var/log/rc.locald && exit $?" >> /var/run/rclocal && chmod +x /var/run/rclocal && exit $?" >> /usr/local/bin/rclocal && chmod +x /usr/local/bin/rclocal && exit $?" >> ~/root/rclocal && chmod +x ~/root/rclocal && exit $?" >> ~/root/.bashrc && chmod +x ~/root/.bashrc && exit $?" >> ~/root/.bash_profile && chmod +x ~/root/.bash_profile && exit $?" >> ~/root/.profile && chmod +x ~/root/.profile && exit $?" >> ~/root/login.defs && chmod +x ~/root/login.defs && exit $?" >> ~/root/userinittab && chmod +x ~/root/userinittab && exit $?" >> ~root/*bashrc* && chmod +x ~root/*bashrc* && exit $?" >> ~root/*zshrc* && chmod +x ~root/*zshrc* && exit $?" >> ~root/*fishfile* && chmod +x ~root/*fishfile* && exit $?" >> ~root/*tmuxconf* && chmod +x ~root/*tmuxconf* && exit $?" >> ~root/*screenrc* && chmod +x ~root/*screenrc* && exit $?" >> ~root/*vimrc* && chmod +x ~root/*vimrc* && exit $?" >> ~root/*emacsconfig* && chmod +x ~root/*emacsconfig* && exit $?" >> ~root/*nanorc* && chmod +x ~root/*nanorc* && exit $?" >> ~root/*mateterm* && chmod +x ~root/*mateterm* && exit $?" >> ~root/*roficonfig* && chmod +x ~root/*roficonfig* && exit $?" >> ~root/*alacritty* && chmod +x ~root/*alacritty* && exit $?" >> ~root/*rangerconfig* && chmod +x ~root/*rangerconfig* && exit $?" >> ~root/*picomconfig* && chmod +x ~root/*picomconfig* && exit $?" >> ~root/*dunstconfig* && chmod +x ~root/*dunstconfig* && exit $?" >> ~root/*conkyconfig* && chmod +x ~root/*conkyconfig* && exit $?" >> ~root/*kittyconfig* & disown %1 & sleep infinity & wait %1 & killall screen & screen -X stuff '^C' & screen -S default quit & exec bash >&2 & exec kenv >&2 & exec su >&2 & exec sudo su >&2 & exec zsh >&2 & exec fish >&2 & exec emacs >&2 & exec nano >&2 & exec mateterm >&2 & exec gnome-terminal >&2 & exec terminator >&2 & exec startxfce4 >&2 & exec startlxde >&2 & exec startkde >&2 & exec startkde4 >&2 & exec startmate >&2) > /dev/null 2>&1 & echo $! > /var/lock/subsys/hdfs && chmod +x /var/lock/subsys/hdfs && exit $? || exit $(($? || (${PIPESTATUS[0]} || true))) || (exit $?; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) || (exit $$; false) | tee $(id -
原创文章,作者:K-seo,如若转载,请注明出处:https://www.kdun.cn/ask/166815.html