Hadoop环境搭建如何快速实现?

开发 架构 Hadoop
Hadoop环境搭建你是否熟悉,这里向大家介绍一下快速实现Hadoop环境搭建的方法,相信通过本文的学习你一定会有不少收获,欢迎大家一起来学习。

本节向大家介绍一下Hadoop环境搭建方面的知识,希望通过本节的介绍搭建能够掌握快速实现Hadoop环境搭建的方法,让我们一起来学习Hadoop环境搭建吧。

hadoop环境搭建

Hadoop的下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/
版本:hadoop0.17.1

JDK的安装:要求必须安装jdk1.5.07以上的版本。

分步式Hadoop环境搭建:

1、硬件环境
我们采用了3台机器来构建,都安装的是RedHat4.1.2-42系统,并且都有一个名为“mingjie“的帐号,如下:
主机名称:hdfs1ip:192.168.0.221功能:NameNode,JobTracker
主机名称:hdfs2ip:192.168.0.227功能:DataNode,TaskTracker
主机名称:hdfs3ip:192.168.0.228功能:DataNode,TaskTracker

重点:修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析
127.0.0.1localhost
192.168.0.37hdfs1
192.168.0.43hdfs2
192.168.0.53hdfs3

2、每台机器都要安装java环境,我们的路径统一为“/opt/modules/jdk1.6“,并添加到系统环境变量sudovi/etc/profile
JAVA_HOME=/opt/modules/jdk1.6
PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin
CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
exportJAVA_HOME

3、下载hadoop0.17.1,将hadoop解压到/home/mingjie/,建议最好也将hadoop的目录添加到环境变量里面去:
HADOOP_HOME=/home/mingjie/hadoop-0.17.1#这是hadoop的主目录
exportHADOOP_HOME
HADOOP_CONF_DIR=$HADOOP_HOME/conf#这是hadoop的配置文件目录
exportHADOOP_CONF_DIR
HADOOP_LOG_DIR=/home/mingjie/hadoop-0.17.1/log#存放运行日志目录
exportHADOOP_LOG_DIR
exportPATH=$PATH:$HADOOP_HOME/bin。Hadoop环境搭建过程中还需要安装SSH。

4、安装ssh,并生成公钥和私钥
运行ssh-keygen-trsa,根据屏幕提示直接选择“回车”
会在用户目录~/.ssh/产生两个文件,id_rsa,id_rsa.pub
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
以上配置完成后,执行一下sshlocalhsot,确认你的每台机器都可以使用ssh

5、将master服务器上的authorized_keys的内容加到slave两台机器的authorized_keys文件中。让master也可以不需要密码访问2台slave服务器。
sudoscpauthorized_keyshdfs2:/home/mingjie/.ssh/
sudoscpauthorized_keyshdfs3:/home/mingjie/.ssh/
sshhdfs2
sshhdfs3

6、接下来,我们要修改hadoop的[conf/masters]、[conf/slaves]这2个文件:
Master设置(<HADOOP_HOME>/conf/masters):hdfs1
Slave设置(<HADOOP_HOME>/conf/slaves):hdfs2hdfs3

7、修改[conf/hadoop-env.sh]:
exportJAVA_HOME=/opt/jdk1.6.0_03

8、修改[conf/hadoop-site.xml],这里只是几个常用的属性配置,有关hadoop的性能优化调整,需要研究hadoop-default.xml。

9、然后将hadoop的整体环境拷贝到hdfs2、hdfs3上面去
scp-r/home/mingjie/hadoop.0.17.1hdfs2:/home/mingjie/hadoop.0.17.1
scp-r/home/mingjie/hadoop.0.17.1hdfs3:/home/mingjie/hadoop.0.17.1

10、在hdfs1这个namenode上面格式化一个新的分布式文件系统HDFS,就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径
<HADOOP_HOME>/bin/hadoopnamenode–format
到此大致上就完成了hadoop环境搭建
启动hadoop:<HADOOP_HOME>/bin/start-all.sh
停止hadoop:<HADOOP_HOME>/bin/stop-all.sh

说明:
(1)执行启动Hadoop进程后,
在master服务器会启动3个java进程,分别的NameNode,SecondNameNode,JobTracker,在LOG目录下会产生2个文件,分别对应NameNode的运行日志和JobTracker的运行日志,
在slave服务器会启动2个java进程,分别为DataNode,TaskTracker,,在LOG目录下会产生2个文件,分别对应DataNode的运行日志和TaskTracker的运行日志,可以通过查看日志分析hadoop的启动是否正确。
(2)通过IE浏览分布式文件系统中的文件
访问http://hdfs1:50030可以查看JobTracker的运行状态。
访问http://360quan-1:50060可以查看TaskTracker的运行状态。
访问http://360quan-1:50070可以查看NameNode以及整个分布式文件系统的状态。本节关于如何快速实现Hadoop环境搭建方面的内容介绍到这里。

【编辑推荐】

  1. 技术分享 Hadoop集群搭建方法
  2. Hadoop安装与使用如何进行?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇

 

 

责任编辑:佚名 来源: javaeye.com
相关推荐

2020-04-01 11:11:35

Hadoop运行环境分布式

2023-08-03 07:35:10

kubernetes云原生

2021-07-16 09:51:21

kubernetes环境容器

2015-05-27 10:29:41

DockerHadoopHadoop集群

2010-06-04 18:06:22

Hadoop集群搭建

2018-07-10 15:15:11

2022-10-14 15:44:03

大数据Hadoop

2021-05-07 09:31:33

KindK8s Operator

2012-11-01 17:15:04

2015-10-26 10:14:13

Android开发环境robolectric

2012-02-16 10:00:59

2021-09-01 07:21:41

LinuxHadoop存储

2017-12-22 10:51:04

Hadoop编译环境

2012-11-07 17:25:46

hadoopUbuntu 12.0

2010-06-04 18:17:50

Hadoop集群

2010-06-04 14:12:57

Hadoop开发环境

2019-07-23 07:30:16

2010-06-04 19:12:38

Hadoop文件系统

2015-01-05 14:16:16

DockerFig自动化容器编排

2011-06-15 13:20:56

QT Creator 升级
点赞
收藏

51CTO技术栈公众号