注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

实验之namenode恢复  

2013-08-07 21:48:11|  分类: hadoop1 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1:环境准备:
a:删除linux1、linux2、linux3、linux4、linux5的tmp目录之后重建tmp目录
b:修改linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml
实验之namenode恢复 - mmicky - mmicky 的博客
 
c:将linux1的配置文件conf/masters、hdfs-site.xml、conf/core-site.xml通过scp到各节点
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux2:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux3:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux4:/app/hadoop120
[hadoop@linux1 hadoop120]$ scp -r conf hadoop@linux5:/app/hadoop120
d:使用bin/hadoop namenode -format重新格式化hadoop系统
e:建立文件夹dir1,上传几个大文件
[hadoop@linux1 hadoop120]$ bin/start-all.sh
[hadoop@linux1 hadoop120]$ bin/hadoop fs -mkdir dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/1.mp4 ./dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/2.mp4 ./dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/3.mp4 ./dir1
f:间隔一段时间后,建立文件夹dir2,上传几个小文件
[hadoop@linux1 hadoop120]$ bin/hadoop fs -mkdir dir2
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /app/test1.txt ./dir2
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /app/test2.txt ./dir2 
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /app/test3.txt ./dir2 
g:文件使用情况
[hadoop@linux1 hadoop120]$ bin/hadoop fsck /
实验之namenode恢复 - mmicky - mmicky 的博客
 
2:模拟namenode崩溃
a:重新启动namenode
实验之namenode恢复 - mmicky - mmicky 的博客
b:删除name目录
实验之namenode恢复 - mmicky - mmicky 的博客
 
3:恢复namenode
a:将secondaryname目录scp到linux1的name目录(不需要停止linux2的secondarynamenode进程)
[hadoop@linux2 hadoop120]$ scp -r tmp/dfs/namesecondary hadoop@linux1:/app/hadoop120/tmp/dfs/name 
b:linux1上进行导入检查点,然后启动namenode进程和jobtracker进程。
[hadoop@linux1 hadoop120]$ bin/hadoop namenode -importCheckpoint
[hadoop@linux1 hadoop120]$ bin/hadoop-daemon.sh start namenode
[hadoop@linux1 hadoop120]$ bin/hadoop-daemon.sh start jobtracker
c:检查恢复后的文件系统,文件数量和块是一样的。
[hadoop@linux1 hadoop120]$ bin/hadoop fsck /
实验之namenode恢复 - mmicky - mmicky 的博客
d:浏览文件夹内的文件,发现也是正常的。
实验之namenode恢复 - mmicky - mmicky 的博客
 
4:secondarynamenode的处置
先停止namenode进程,然后将namesecondary里的文件全删除,再启动namenode。在该过程中secondarynamenode不需要停止。
[hadoop@linux1 hadoop120]$ bin/hadoop-daemon.sh stop namenode
[hadoop@linux2 namesecondary]$ rm -rf *
[hadoop@linux1 hadoop120]$ bin/hadoop-daemon.sh start namenode
  评论这张
 
阅读(154)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017