社区编辑申请
注册/登录
学习笔记 Hadoop0.20.0部署与测试
开发 架构 Hadoop
Hadoop相信大家应该有所了解,这里向大家介绍一下Hadoop0.20.0部署与测试方面的内容,相信通过本文的介绍大家对Hadoop0.20.0部署与测试有新的认识。

本节和大家一起学习一下Hadoop0.20.0部署与测试方面的知识,主要包括下载Hadoop软件和启动Hadoop集群前的准备工作等内容,希望通过本节的介绍大家能够掌握Hadoop0.20.0部署与测试的方法。

Hadoop0.20.0部署与测试

--最近对Hadoop的部署小有收获,本文总结部署的主要过程以及遇到的问题,其中很多地方也是借鉴网络上其他高手的经验(资料大部分是0.19乃至更早的,0.20在配置上已有部分调整)。
Hadoop官方(强烈建议仔细阅读官方原文文档)
整个部署过程主要分为以下几部分(以***0.20.0版本为例):
系统环境为ubuntu.04、JDK1.6

1.下载

从Apache的任意镜像站点上下载Hadoop***版本
压缩包中的docs下有使用手册,docs/cn下是中文手册(0.19)

2.启动hadoop集群前的准备工作

2.1安装JDK如果机器为多核建议安装JDK1.6,可以提高程序运行效率。

在/home/[$hadoop_home]/conf目录下的hadoop_env.sh中设置Hadoop需要的环境变量,其中JAVA_HOME是必须设定的变量。
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportJAVA_HOME=/usr/lib/jvm/java-6-sun

2.2配置SSH(for配置集群)

安装SSH
以UbuntuLinux为例:
$sudoapt-getinstallssh
$sudoapt-getinstallssh

生成密钥对
$ssh-keygen-trsa-P''
$ssh-keygen-trsa-P''

询问其保存路径时直接回车采用默认路径
生成的密钥对id_rsa,id_rsa.pub,默认存储在/home/[$user]/.ssh目录下。
然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/[$user]/.ssh/authorized_keys文件中。
如果机器上已经有authorized_keys这个文件了,就在文件末尾加上id_rsa.pub中的内容。
如果没有authorized_keys这个文件,直接cp或者scp就好了。

没有authorized_keys时
$cpid_rsa.pubauthorized_keys
$cpid_rsa.pubauthorized_keys

或使用追加命令
$catid_rsa.pub>>authorized_keys
$catid_rsa.pub>>authorized_keys

Hadoop0.20.0部署中下面这步必须操作否则SSH无法正常运行,修改authorized_keys文件权限为当前用户可读写,其他用户只读。
$chmod600authorized_keys
$chmod600authorized_keys
为了进一步加强安全,可以修改本机文件/etc/ssh/sshd_config,这样设定之后SSH就只能通过密钥认证登录。

#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys
#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys。请关注下节关于Hadoop0.20.0部署与测试介绍。
 

【编辑推荐】

  1. hadoop-0.20.1部署手册新手必备
  2. 如何进行Hadoop安装部署?
  3. Hadoop文件系统如何快速安装?
  4. Hadoop集群搭建过程中相关环境配置详解
  5. Hadoop完全分布模式安装实现详解

 

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-04 10:01:26

Hadoop安装

2010-06-07 16:45:49

Hadoop0.20.

2010-06-07 15:21:00

hadoop-0.20

2010-06-07 15:33:42

Hadoop0.20更

2010-06-03 10:51:09

2010-06-07 15:48:40

Hadoop0.20.

2014-07-15 11:15:44

2012-06-25 10:30:06

2010-06-03 12:57:06

2016-12-13 16:36:15

Hadoopwindows

2012-09-18 09:55:44

2010-06-04 09:43:47

2010-06-04 17:43:12

Hadoop集群搭建

2013-06-08 14:34:42

Hadoop 2.0

同话题下的热门内容

该不该将单体架构迁移到微服务?生成性对抗网络——数据生成的高级解决方案SpringBoot对Spring MVC都做了哪些事?(四)软件架构中的跨层缓存技术人生 | 如何设定业务目标SpringBoot:如何优雅地进行响应数据封装、异常处理?为什么策略梯度法在协作性MARL中如此高效?终于有人把灰度发布架构设计讲明白了

编辑推荐

终于有人把Elasticsearch原理讲透了!花了一个星期,我终于把RPC框架整明白了!拜托!面试不要再问我Spring Cloud底层原理陌陌基于K8s和Docker容器管理平台的架构实践收藏 | 第一次有人把“分布式事务”讲的这么简单明了
我收藏的内容
点赞
收藏

AISummit人工智能大会