注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

实验之HDFS块大小设置  

2013-08-06 19:22:32|  分类: hadoop1 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
实验环境:
CentOS6.4上搭建hadoop1.2.0环境
192.168.100.171 linux1 (namenode、secondarynamenode)
192.168.100.172 linux2 (备用)
192.168.100.173 linux3 (datanode)
192.168.100.174 linux4 (datanode)
192.168.100.175 linux5 (预留备用datanode)

1:建立一个空目录dir1,并上传100M左右的文件
[hadoop@linux1 hadoop120]$ bin/hadoop fs -mkdir dir1
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/2.mp4 ./dir1/2.mp4

2:检查块大小
[hadoop@linux1 hadoop120]$ bin/hadoop fsck /user/hadoop/dir1 -files -blocks
实验之HDFS块大小设置 - mmicky - mmicky 的博客
 或通过http://192.168.100.171:50070内的Browse the filesystem查到文件
实验之HDFS块大小设置 - mmicky - mmicky 的博客
 
3:修改linux1的hdfs-site.xml,将块大小修改成32M。
[hadoop@linux1 hadoop120]$ vi conf/hdfs-site.xml
[hadoop@linux1 hadoop120]$ cat conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>33554432</value>
</property>
</configuration>

4:将linux1的hdfs-site.xml文件同步给各节点
[hadoop@linux1 hadoop120]$ scp conf/hdfs-site.xml hadoop@linux2:/app/hadoop120/conf/hdfs-site.xml
[hadoop@linux1 hadoop120]$ scp conf/hdfs-site.xml hadoop@linux3:/app/hadoop120/conf/hdfs-site.xml
[hadoop@linux1 hadoop120]$ scp conf/hdfs-site.xml hadoop@linux4:/app/hadoop120/conf/hdfs-site.xml
[hadoop@linux1 hadoop120]$ scp conf/hdfs-site.xml hadoop@linux5:/app/hadoop120/conf/hdfs-site.xml

5:建立一个空白目录dir2,并上传本地100M左右的文件
[hadoop@linux1 hadoop120]$ bin/hadoop fs -mkdir dir2
[hadoop@linux1 hadoop120]$ bin/hadoop fs -put /mnt/mysoft/LinuxSoft/data/2.mp4 ./dir2/2.mp4

6:检查块大小
[hadoop@linux1 hadoop120]$ bin/hadoop fsck /user/hadoop/dir2 -files -blocks
实验之HDFS块大小设置 - mmicky - mmicky 的博客
 或通过http://192.168.100.171:50070内的Browse the filesystem查到文件
实验之HDFS块大小设置 - mmicky - mmicky 的博客
 
7:额外话题
a:显然上面的做法会导致不同blocksize的存在,幸运的是blocksize的改变不会影响老的blocksize文件的读取。笔者测试了在blocksize=32M的时候也可以将在blocksize=64M时导入的文件dir1/2.mp4导出来,经播放器播放没问题。
b:如果想保持blocksize一致的话,就使用hadoop namenode -foramt格式化一下,但在生产系统中,显然是不大可能这样做的。
  评论这张
 
阅读(528)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017