注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

eclipse开发hadooop2.2.0程序  

2013-11-23 19:06:28|  分类: hadoop2 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1:下载hadoop2部署文件和源代码,解压缩至/app/hadoop/hadoop220和/app/hadoop/hadoop220_src。然后建立一个放置jar包的文件夹/app/hdaoop2lib,将/app/hadoop/hadoop220/share/hadoop各项目(common、hdfs、mapreduce、yarn)下的JAR包以其lib目录下的JAR包都复制到/app/hdaoop2lib

2:Eclipse设置及新增项目
A:Windows->Prefernces->Java->Build Path->User Libraries->New...增加一个hadoop2lib用户库
eclipse开发hadooop2.2.0程序 - mmicky - mmicky 的博客
 B:Add External JARS..->将/app/hadoop2lib/目录中所有JAR文件加入
eclipse开发hadooop2.2.0程序 - mmicky - mmicky 的博客
 
3:测试
A:新增一个java project,其中Libraries->Add Library...->User Library->hadoop2lib
eclipse开发hadooop2.2.0程序 - mmicky - mmicky 的博客
B:在源码增加hadoop2samples package和WordCount class,然后将hadoop2源码包中自带的WordCount源码(/app/hadoop/hadoop220_src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples)复制过来并修改正确。
C:在hadoop2集群建立要测试数据,然后在eclipse配置Run Configurations
eclipse开发hadooop2.2.0程序 - mmicky - mmicky 的博客
 D:运行
eclipse开发hadooop2.2.0程序 - mmicky - mmicky 的博客
 
4:TIPS
A:在建立hadoop2lib时,最好是将common、hdfs、mapreduce、yarn都复制过来,一般的mapreduce程序都会涉及到,笔者忘了将yarn下的JAR包复制过来,运行时报错。
B:在hadoop集群缺省配置下,存取hdfs是需要权限的,如果在开发客户端使用的用户不是hadoop集群的启动用户,会报文件存取权限的错误,只需要重新配置一下hdfs-site.xml,增加下面配置:
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
  评论这张
 
阅读(1022)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017