Hadoop单机模式安装方法深入剖析

开发 架构 Hadoop
Hadoop相信大家应该有所了解,它是MapReduce的开源实现,现在介绍它的单机模式安装方法,欢迎大家一起来学习,希望通过本文介绍大家对Hadoop单机模式安装方法有一定的认识。

本节和大家一起学习一下Hadoop单机模式安装方法,Hadoop单机模式安装主要有九个步骤,相信通过本节的介绍大家对Hadoop的安装方法有进一步的了解,让我们一起来学习Hadoop单机模式吧。

Hadoop单机模式安装

实验平台:Ubuntu9.04,Hadoop0.20,JDK1.6

step1.ssh的安装设置

由于Hadoop用ssh通信,因此先进行免密码登录设定,
$apt-getinstallssh
$ssh-keygen-trsa-P''-f~/.ssh/id_rsa
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$sshlocalhost
完成后请登入确认不用输入密码,(第一次登入需按enter键,第二次就可以直接登入到系统。
~$sshlocalhost
~$exit
~$sshlocalhost
~$exit

step2.安装java

由于SunJavaRuntime是执行Hadoop必备的工具,因此我们需要安装JRE或JDK。这里我们直接安装JDK,因为后面写程序仍旧需要用到JDK所提供的编译程序。目前Ubuntu9.04提供的JDK套件最新版本为SunJava(TM)DevelopmentKit(JDK)6,套件名称为sun-java6-jdk。并建议删除原本的「gcj」。
~$sudoapt-getpurgejava-gcj-compat
~$sudoapt-getinstallsun-java6-binsun-java6-jdksun-java6-jre

step3.下载安装Hadoop

?Hadoop单机模式时请至下载Hadoop0.20,并解开压缩文件到/opt路径。
?$tarzxvfhadoop-0.20.0.tar.gz
?$sudomvhadoop-0.20.0/opt/
?$sudochown-Rhadoop:hadoop/opt/hadoop-0.20.0
?$sudoln-sf/opt/hadoop-0.20.0/opt/hadoop

step4.设定hadoop-env.sh

?进入hadoop目录,做进一步的设定。我们需要修改两个档案,第一个是hadoop-env.sh,需要设定JAVA_HOME,HADOOP_HOME,PATH三个环境变量。
/opt$cdhadoop/
/opt/hadoop$cat>>conf/hadoop-env.sh<<EOF
贴上以下信息
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:/opt/hadoop/bin
EOF

step5.设定hadoop配置文件

 

  1. ?編輯/opt/hadoop/conf/core-site.xml  
  2. <configuration> 
  3. <property> 
  4. <name>fs.default.name</name> 
  5. <value>hdfs://localhost:9000</value> 
  6. </property> 
  7. <property> 
  8. <name>hadoop.tmp.dir</name> 
  9. <value>/tmp/hadoop/hadoop-${user.name}</value> 
  10. </property> 
  11. </configuration> 
  12. ?編輯/opt/hadoop/conf/hdfs-site.xml  
  13. <configuration> 
  14. <property> 
  15. <name>dfs.replication</name> 
  16. <value>1</value> 
  17. </property> 
  18. </configuration> 
  19. ?編輯/opt/hadoop/conf/mapred-site.xml  
  20. <configuration> 
  21. <property> 
  22. <name>mapred.job.tracker</name> 
  23. <value>localhost:9001</value> 
  24. </property> 
  25. </configuration> 
  26.  

 

step6.格式化HDFS

?Hadoop单机模式安装过程中需要格式化HDFS。以上我们已经设定好Hadoop单机测试的环境,接着让我们来启动Hadoop相关服务,格式化namenode,secondarynamenode,tasktracker
?$cd/opt/hadoop
?$source/opt/hadoop/conf/hadoop-env.sh
?$hadoopnamenode-format

step7.启动Hadoop

?接着用start-all.sh来启动所有服务,包含namenode,datanode,
/opt/hadoop$bin/start-all.sh
执行画面如:
startingnamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
localhost:startingdatanode,loggingto/opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
localhost:startingsecondarynamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
startingjobtracker,loggingto/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out

step8.安装完毕测试

?启动之后,可以检查以下网址,来观看服务是否正常。Hadoop管理接口HadoopTaskTracker状态HadoopDFS状态
?http://localhost:50030/-Hadoop管理接口
注:已安装测试成功,参考修改于http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1,感谢NCHC。本节关于Hadoop单机模式安装介绍到这里。

【编辑推荐】

  1. Hadoop完全分布模式安装实现详解
  2. Hadoop伪分布模式安装如何实现?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop环境搭建如何快速实现?
责任编辑:佚名 来源: javaeye.com
相关推荐

2010-06-03 13:08:51

2010-06-03 11:23:19

Hadoop

2010-06-17 14:35:03

设计模式 UML

2010-08-09 16:01:37

Flex字体

2010-06-07 14:55:32

nutch+hadoo

2010-08-13 09:54:23

Flex字体

2010-10-08 14:19:34

JavaScript split()

2009-12-01 17:00:49

PHP变量

2010-06-04 15:27:17

Hadoop本地

2009-09-27 17:13:36

Hibernate V

2009-07-06 10:44:45

JSP charset

2011-06-03 13:48:18

JavaScript重构

2009-09-14 15:12:40

LINQ to XML

2010-05-25 12:59:00

Subversion

2010-07-09 13:55:53

UML面向对象建模

2023-07-13 09:28:29

设计模式.NET

2010-06-04 15:59:45

Hadoop完全分布模

2010-06-04 15:44:06

Hadoop伪分布

2010-06-07 16:45:49

Hadoop0.20.

2009-09-25 09:36:55

Hibernate核心
点赞
收藏

51CTO技术栈公众号