注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

实验之secondarynamenode和namenode分离  

2013-08-07 20:04:29|  分类: hadoop1 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
实验环境:
CentOS6.4上搭建hadoop1.2.0环境
192.168.100.171 linux1 (namenode、secondarynamenode)
192.168.100.172 linux2 (备用)
192.168.100.173 linux3 (datanode)
192.168.100.174 linux4 (datanode)
192.168.100.175 linux5 (预留备用datanode)

情况一:新建hadoop集群里将secondary namenode和namenode分离。
1:删除linux1、linux2、linux3、linux4、linux5的tmp目录之后重建tmp目录
2:修改linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 3:将linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml通过scp到各节点
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux2:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux3:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux4:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux5:/app/hadoop120
4:使用bin/hadoop namenode -format重新格式化hadoop系统
5:建立文件夹dir1,上传几个大文件(最后一个文件达到触发checkpoint)
[hadoop@linux1 hadoop120]$ bin/start-all.sh
[hadoop@linux1 hadoop120]$ bin/hadoop fs -mkdir dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/1.mp4 ./dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/2.mp4 ./dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/3.mp4 ./dir1
6:验证进程
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 7:验证fsimage和editlog
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 
情况二:原有hadoop集群里将secondary namenode和namenode分离
1:停止linux1上的namenode进程和secondarynamenode进程
2:修改linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 3:将linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml通过scp到各节点
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux2:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux3:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux4:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux5:/app/hadoop120
4:删除linux1的namesecondary目录,然后启动linux1上的namenode进程linux2上的secondarynamenode进程
[hadoop@linux1 dfs]$ rm -rf namesecondary
[hadoop@linux1 hadoop120]$ bin/hadoop-daemon.sh start namenode
[hadoop@linux2 hadoop120]$ bin/hadoop-daemon.sh start secondarynamenode
5:验证进程
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 6:验证fsimage和editlog
实验之secondarynamenode和namenode分离 - mmicky - mmicky 的博客
 
特别备注:
在做以上测试的时候,因为都重新启动了hadoop,第一次的checkpoint是正常的,然后后续的checkpoint就不正常了,发现NN的current里总有edits.new文件,而且checkpoint触发后,SNN的images没有传递到NN里。最终检查SNN的日志发现,SNN传递images时需要SNN的0.0.0.0:50090传送端口,也就是conf/hdfs-site.xml中fds.secondary.http.address参数的默认值,将该项增加到conf/hdfs.xml后,并赋值为SSNIP:50090(本例为192.168.100.172:50090)之后,checkpoint正常。
  评论这张
 
阅读(354)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017