Hadoop机架感知及启动停止方法详解

开发 架构 Hadoop
Hadoop相信大家应该有所了解,那么Hadoop的机架感知你知道吗,这里就向大家介绍一下Hadoop的机架感知以及如何启动和停止Hadoop方面的内容。

在学习Hadoop的过程中,你可能会遇到Hadoop的机架感知方面的问题,本节就向大家介绍一下Hadoop的机架感知方面的知识以及Hadoop的启动和停止的方法,欢迎大家一起来学习。下面是具体讲解。

Hadoop的机架感知

HDFS和Map/Reduce的组件是能够感知机架的。

NameNode和JobTracker通过调用管理员配置模块中的APIresolve来获取集群里每个slave的机架id。该API将slave的DNS名称(或者IP地址)转换成机架id。使用哪个模块是通过配置项

topology.node.switch.mapping.impl来指定的。模块的默认实现会调用topology.script.file.name配置项指定的一个的脚本/命令。如果topology.script.file.name未被设置,对于所有传入的IP地址

,模块会返回/default-rack作为机架id。在Map/Reduce部分还有一个额外的配置项mapred.cache.task.levels,该参数决定cache的级数(在网络拓扑中)。例如,如果默认值是2,会建立两级的cache-一级针对主机(主机->任务的映射)另一级针对机架(机架->任务的映射)。

启动Hadoop

启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统:
$bin/hadoopnamenode-format

在分配的NameNode上,运行下面的命令启动HDFS:
$bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上,运行下面的命令启动Map/Reduce:
$bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。

停止Hadoop

在分配的NameNode上,执行下面的命令停止HDFS:
$bin/stop-dfs.sh

bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。

在分配的JobTracker上,运行下面的命令停止Map/Reduce:
$bin/stop-mapred.sh


bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。

【编辑推荐】

  1. 技术分享 Hadoop集群搭建方法
  2. 实例讲解Hadoop用法
  3. Hadoop集群与Hadoop性能优化
  4. HadoopHBase实现配置简单的单机环境
  5. Hadoop命令大全

 

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 09:14:55

Hadoop集群

2010-06-03 15:39:47

Hadoop配置

2010-10-19 09:45:23

SQL Server命

2009-06-11 09:42:57

netbeans启动参数

2010-11-10 10:59:52

Sql Server服

2010-06-07 09:26:32

Hadoop集群

2010-05-24 14:59:29

Hadoop集群

2011-03-21 10:19:35

启动停止Nagios

2010-06-03 17:38:03

Hadoop命令

2010-09-29 14:56:42

启动DHCP服务

2011-03-03 16:18:29

VSFTPD启动停止

2010-01-28 13:43:48

Android启动Ja

2020-10-14 10:25:20

深度学习机器学习神经网络

2009-08-28 16:01:20

C#启动停止SQL数据

2010-05-26 18:32:07

SVN库

2020-07-30 12:50:06

RFID感知应用

2009-12-23 09:43:08

Fedora core

2010-08-12 09:30:08

Flex内存泄露

2021-09-29 06:03:37

JavaScriptreduce() 前端

2014-08-06 09:57:15

hadoop ShelShell命令
点赞
收藏

51CTO技术栈公众号