环境准备
1、硬件要求：Ubuntu 12.04系统，至少2G内存，1G硬盘空间。
2、软件要求：JDK 1.7,Hadoop安装包(hadoop-1.2.1),HDFS安装包(hdfs-1.2.1)。
单机模式环境搭建
1、安装JDK
在Ubuntu 12.04系统中，首先需要安装JDK 1.7，可以通过以下命令安装：
sudo apt-get update sudo apt-get install openjdk-7-jdk
2、配置JAVA_HOME
编辑/etc/profile文件，添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存文件后，执行以下命令使配置生效：
source /etc/profile
3、下载并解压Hadoop安装包
从官网下载hadoop-1.2.1和hdfs-1.2.1的压缩包，然后解压到指定目录。
tar -xzvf hadoop-1.2.1.tar.gz -C /opt/hadoop tar -xzvf hdfs-1.2.1.tar.gz -C /opt/hadoop/etc/hadoop
4、配置Hadoop环境变量
编辑/etc/profile文件，添加以下内容：
export HADOOP_HOME=/opt/hadoop
export HDFS_HOME=/opt/hadoop/etc/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
保存文件后，执行以下命令使配置生效：
source /etc/profile
5、配置SSH免密码登录
编辑~/.ssh/config文件，添加以下内容：
Host * StrictHostKeyChecking no UserKnownHostsFile=/dev/null IdentityFile ~/.ssh/id_rsa
6、初始化HDFS元数据存储目录
执行以下命令初始化HDFS元数据存储目录：
hdfs namenode -format -nonInteractive
伪分布式模式环境搭建(以3节点集群为例)
1、在每台机器上重复第2步和第3步，将Hadoop解压到对应的目录，注意要将每台机器上的HADOOP_HOME设置为不同的路径，以避免冲突，A机器的HADOOP_HOME为/opt/hadoopA,B机器的HADOOP_HOME为/opt/hadoopB,C机器的HADOOP_HOME为/opt/hadoopC，确保每个机器上的HDFS_HOME指向正确的Hadoop安装目录。
2、在每台机器上创建一个名为core-site.xml的配置文件，内容如下：(注意修改fs.defaultFS属性值为对应的HADOOP_HOME)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://A:9000</value> <!-将A替换为实际的主机名和端口号 -->
</property>
</configuration>
将此文件复制到各自的$HADOOP_CONF_DIR目录下，A机器的$HADOOP_CONF_DIR为/opt/hadoopA/etc/hadoop,B机器的$HADOOP_CONF_DIR为/opt/hadoopB/etc/hadoop,C机器的$HADOOP_CONF_DIR为/opt/hadoopC/etc/hadoop，在其他两台机器上也需要进行类似的操作。
原创文章，作者：K-seo，如若转载，请注明出处：https://www.kdun.cn/ask/140027.html
微信扫一扫 