ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

环境准备

1、硬件要求:Ubuntu 12.04系统,至少2G内存,1G硬盘空间。

2、软件要求:JDK 1.7,Hadoop安装包(hadoop-1.2.1),HDFS安装包(hdfs-1.2.1)。

ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

单机模式环境搭建

1、安装JDK

在Ubuntu 12.04系统中,首先需要安装JDK 1.7,可以通过以下命令安装:

sudo apt-get update
sudo apt-get install openjdk-7-jdk

2、配置JAVA_HOME

编辑/etc/profile文件,添加以下内容:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存文件后,执行以下命令使配置生效:

source /etc/profile

3、下载并解压Hadoop安装包

ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

从官网下载hadoop-1.2.1和hdfs-1.2.1的压缩包,然后解压到指定目录。

tar -xzvf hadoop-1.2.1.tar.gz -C /opt/hadoop
tar -xzvf hdfs-1.2.1.tar.gz -C /opt/hadoop/etc/hadoop

4、配置Hadoop环境变量

编辑/etc/profile文件,添加以下内容:

export HADOOP_HOME=/opt/hadoop
export HDFS_HOME=/opt/hadoop/etc/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

保存文件后,执行以下命令使配置生效:

source /etc/profile

5、配置SSH免密码登录

编辑~/.ssh/config文件,添加以下内容:

ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

Host *
  StrictHostKeyChecking no
  UserKnownHostsFile=/dev/null
  IdentityFile ~/.ssh/id_rsa

6、初始化HDFS元数据存储目录

执行以下命令初始化HDFS元数据存储目录:

hdfs namenode -format -nonInteractive

伪分布式模式环境搭建(以3节点集群为例)

1、在每台机器上重复第2步和第3步,将Hadoop解压到对应的目录,注意要将每台机器上的HADOOP_HOME设置为不同的路径,以避免冲突,A机器的HADOOP_HOME为/opt/hadoopA,B机器的HADOOP_HOME为/opt/hadoopB,C机器的HADOOP_HOME为/opt/hadoopC,确保每个机器上的HDFS_HOME指向正确的Hadoop安装目录。

2、在每台机器上创建一个名为core-site.xml的配置文件,内容如下:(注意修改fs.defaultFS属性值为对应的HADOOP_HOME)

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://A:9000</value> <!-将A替换为实际的主机名和端口号 -->
  </property>
</configuration>

将此文件复制到各自的$HADOOP_CONF_DIR目录下,A机器的$HADOOP_CONF_DIR为/opt/hadoopA/etc/hadoop,B机器的$HADOOP_CONF_DIR为/opt/hadoopB/etc/hadoop,C机器的$HADOOP_CONF_DIR为/opt/hadoopC/etc/hadoop,在其他两台机器上也需要进行类似的操作。

原创文章,作者:K-seo,如若转载,请注明出处:https://www.kdun.cn/ask/140027.html

(0)
K-seoK-seoSEO优化员
上一篇 2023年12月18日 06:43
下一篇 2023年12月18日 06:48

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

免备案 高防CDN 无视CC/DDOS攻击 限时秒杀,10元即可体验  (专业解决各类攻击)>>点击进入