注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

RHadoop搭建(HBase)  

2013-12-11 23:20:10|  分类: R语言 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
*实验环境:
**************************************************************************************
hadoop集群(virtualBox虚拟机,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相关的安装文档:hadoop2.2.0测试环境搭建     Hbase0.96.0 +hadoop2.2.0安装     RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次测试在dataserver进行

1:安装thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
Python开发HBase程序 - mmicky - mmicky 的博客
 注意安装thrift安装上要使用Python库,如果要使用其他语言就安装上相应的语言库
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
Python开发HBase程序 - mmicky - mmicky 的博客
 注意如果要编译C++库的话,会出现上面的错误,原因是编译文件路径有问题,可以将已经编译的test/cpp/*.o复制到test/cpp/.libs后,继续编译就可以了。当然不怕麻烦的话,可以修改一下编译文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version

2:安装rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正确的返回结果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
则:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要将动态链接库libthrift-0.9.1.so为系统所共享,不然会出现类似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的错误
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
RHadoop搭建(HBase) - mmicky - mmicky 的博客

3:启动hadoop集群、zookeeper集群、HBase集群

4:rhbase测试
RHadoop搭建(HBase) - mmicky - mmicky 的博客
 
花了一个晚上终于搞定,接下去可以在rstudio里方便的应用rhbase了。
  评论这张
 
阅读(448)| 评论(1)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017