hadoop 单机安装配置教程

2016-02-19 11:35 12 1 收藏

下面是个简单易学的hadoop 单机安装配置教程教程,图老师小编详细图解介绍包你轻松学会,喜欢的朋友赶紧get起来吧!

【 tulaoshi.com - 编程语言 】

单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装,包括环境变量,主要Hadoop配置文件,SSH配置等。主要的区别在于配置文件:slaves配置需要修改,另外如果分布式安装中dfs.replication大于1,需要修改为1,因为只有1个datanode.
分布式安装请参考:
http://acooly.iteye.com/blog/1179828
单机安装中,使用一台机器,即做namenode和JobTracker也是datanode和TaskTracker,当然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布树安装配置,如果分布式安装配置方案中hdfs-site.xml的副本数量定义大于1,则修改为1.
代码如下:

property
namedfs.replication/name
value1/value
/property

主要不同在于slaves的配置,分布式安装中是多个其他机器作为datanode,单机模式本机是datanode,所以修改slaves配置文件为本机的域名。如:本机机器名为hadoop11,则:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后,启动:
代码如下:

$ start-all.sh
$ jps
15556 Jps
15111 JobTracker
15258 TaskTracker
15014 SecondaryNameNode
14861 DataNode
14712 NameNode

运行DEMO
$ echo word1 word2 word2 word3 word3 word3 words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

来源:http://www.tulaoshi.com/n/20160219/1597945.html

延伸阅读
标签: 服务器
SQL Server 2008安装配置图文教程 SQL Server 2008我们也能从中体验到很多新的特性,但是对于SQL Server 2008安装,还是用图来说话比较好。本文将从SQL Server 2008安装开始讲起。 本来这篇是打算玩玩服务器功能中的第一个:adrms的,没想到装了几次都安装成功,但是有错误,后来没招了,打算将rms的数据库放到sql上来折腾折腾,所以为了...
标签: 服务器
Mac系统中Apache Tomcat安装配置 Apache是普通服务器,本身只支持html即普通网页,可以通过插件支持PHP,还可以与Tomcat连通(单向Apache连接Tomcat,就是说通过Apache可以访问Tomcat资源。Tomcat无法取访问Appache资源)。Appache只支持静态网页,但像asp,php,cgi,jsp等动态就需要Tomcat来处理。对于Apache Tomcat 估计很多童鞋都会,那么...
标签: 服务器
windows 系统中wordpress安装配置图文教程 一 wordpress安装 我用的是XAMPP(Apache+MySql+PHP),wordpress(BLOG程序)3.5.1 简体中文官方安装版 ,下面来说说Windows下用XAMPP安装wordpress的方法。 安装XAMPP就是傻瓜式的next、next。安装完成之后运行Control Panel,启动Apache和Mysql,如下图 选择Mysql后面的Adm...
win7安装配置iis步骤   图老师小编带来了win7 iis安装教程,很多朋友对于win7安装配置iis的步骤还不是很了解,那么就可以参考下文哦~如果你需要在电脑上安装iis却不知道步骤的话,希望下文能帮到你。 一、打开控制面板,点击程序与功能。 二、点击左侧打开或关闭Windows功能。 三、找到Internet 信息服务,按照...
介绍JBuilder9+Weblogic Platfrom 8.1+Oracle 9i的安装和配置方法. 一.软件获取 首先要说的是,如果作为一个软件开发人员也不能重视软件版权问题的话,那真的是软件业的悲哀,所以强烈建议使用正版软件。 诚然,正版软件的天价对于个人使用者来说确实是个问题,好在现在的软件厂商已经开始卖服务而不是仅仅卖软件了,所以...

经验教程

607

收藏

73
微博分享 QQ分享 QQ空间 手机页面 收藏网站 回到头部