轻松实现Hadoop Hdfs配置

开发 架构 Hadoop
在学习Hadoop的过程中,你可能会遇到Hadoop Hdfs配置方面的内容,这里就向大家介绍一下Hadoop Hdfs配置方法,希望本文的介绍对你的学习有所帮助。

本节和大家一起学习一下Hadoop Hdfs配置方法,希望通过本节的介绍大家能够掌握如何配置Hadoop Hdfs,以便在以后的学习过程中碰到此类问题是能快速解决。下面是具体介绍。

Hadoop Hdfs配置

环境:

Jdk1.6
Hadoop-2.20.1
Fuse-2.8.1
--------------------------------------------------------------------------------

Jdk1.6下载地址
http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u14-linux-i586.bin?BundledLineItemUUID=.1JIBe.mR4oAAAEh1jkH4cNK&OrderID=SHBIBe.mbIYAAAEhwDkH4cNK&ProductID=4ZhIBe.o8c4AAAEhkh0zLjfT&FileName=/jdk-6u14-linux-i586.bin
hadoop-2.20.1下载地址http://www.apache.org/dyn/closer.cgi/hadoop/core/
Fuse-2.8.1下载地址http://sourceforge.net/projects/fuse/files/fuse-2.X/

NameNode192.168.1.11Centos5.3hostnamemaster-dfs
JobTracker192.168.1.11(这个也可单独配置一台)
DataNode192.168.1.12Centos5.3hostname:data-dfs
Client192.168.1.13Centos5.3hostname:client-dfs

Hadoop Hdfs配置先决条件

配置ssh自动登陆,详细见http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html

安装

1、JDK安装,解压到/usr/local/jdk1.6,并配置/etc/profile环境

exportJAVA_HOME=/usr/local/jdk1.6
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下载Hadoop解压到每台服务器的/data/soft目录下,***目录都相同。
tarzxvfhadoop-2.20.1.tar.gz
配置

配置说明
Hadoop Hdfs配置过程中Hadoop的具体配置选项说明详见http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html

1、修改conf/hadoop-env.sh,添加jdk支持,exportJAVA_HOME=/usr/local/jdk1.6
2、cd/data/soft/hadoop-2.20.1修改hadoop目录下的conf/core-site.xml文件,增加以下内容:

  1. <configuration> 
  2. <property> 
  3. <name>fs.default.name</name> 
  4. <value>hdfs://ws:54310</value>//你的namenode的配置,机器名加端口  
  5. </property> 
  6. <property> 
  7. <name>dfs.name.dir</name> 
  8. <value>/data/hdfs/hdfs1</value>//NameNode持久存储名字空间及事务日志的本地文件系统路径。  
  9. </property> 
  10. <property> 
  11. <name>dfs.data.dir</name>//DataNode存放块数据的本地文件系统路径,逗号分割的列表。  
  12. <value>/data/hdfs/hdfsdata1</value> 
  13. </property> 
  14. <property> 
  15. <name>hadoop.tmp.dir</name>>//Hadoop的默认临时路径,这个***配置,然后在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。
  16. 不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令了。  
  17. <value>/data/hdfs/hdfstmp</value> 
  18. <description>Abaseforothertemporarydirectories.</description> 
  19. </property> 
  20. <property> 
  21. <name>dfs.replication</name>//数据需要备份的数量,默认是三  
  22. <value>1</value> 
  23. </property> 
  24. </configuration> 
  25.  

 3、修改conf/mapred-site.xml增加如下内容: 

  1. <property> 
  2. <name>mapred.job.tracker</name>//JobTracker的主机(或者IP)和端口。  
  3. <value>ws:54311</value> 
  4. </property> 
  5.  

 4、配置/masters,修改conf//masters
master-dfs
修改hosts文件vi/etc/hosts

192.168.1.11master-dfs
192.168.1.12data-dfs
192.168.1.13client-dfs,请期待下节有关Hadoop Hdfs配置介绍。

【编辑推荐】

  1. Hadoop配置指导手册
  2. Hbase和Hadoop操作文件性能测试
  3. Hadoop集群与Hadoop性能优化
  4. Hadoop 从Yahoo向Google的技术转折
  5. Hadoop初探

 

责任编辑:佚名 来源: firnow.com
相关推荐

2010-06-04 14:28:01

Hadoop开发环境

2010-06-03 15:25:31

Hadoop Hdfs

2010-06-07 13:35:16

Hadoop简介

2013-04-23 11:17:47

Hadoop

2010-08-10 13:15:36

Flex配置

2010-06-04 10:48:15

Hadoop性能

2010-06-07 09:14:55

Hadoop集群

2012-07-11 17:21:23

HadoopHDFS

2018-12-27 12:34:42

HadoopHDFS分布式系统

2009-09-10 16:24:23

思科IOS配置思科IOS

2017-08-03 10:38:32

HADOOP1.XHDFSHadoop

2012-07-05 10:51:57

Hadoop集群

2010-06-07 13:23:56

Hadoop 学习总结

2012-07-13 10:17:39

HadoopHDFS

2011-03-15 10:08:22

2019-11-06 08:54:21

HDFSHadoopMapReduce

2010-01-06 16:38:31

2010-07-16 10:31:02

Batch Telne

2010-06-03 15:39:47

Hadoop配置

2017-06-08 11:00:09

HDFSHadoopYARN
点赞
收藏

51CTO技术栈公众号