注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

大数据分析实验环境搭建  

2013-12-08 20:24:09|  分类: 大数据实验 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
最近准备了一些数据,包括文本数据、数据库数据,有结构化的数据和非结构化的数据,开始逐步展开数据分析之旅途。当然,首先是大数据环境的搭建,下面略加介绍。

1:软件版本
hadoop2.2.0
zooKeeper3.4.5 + HBase0.96.0
hive0.11.0 + pig0.11.1 +mahout0.6
sqoop1.4.4
R + Rstudio
MySQL5.6.12
oracle12c
eclipse

2:实验环境
*********************************************************************************
hadoop集群(virtualBox虚拟机,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle、Pig、Hive、mahout、sqoop)
*********************************************************************************

*********************************************************************************
客户端(物理机,Ubuntu13.04 配置:神舟K590S-i7 D2 16G内存)
wyy 192.168.100.111 (eclipse、pig、mahout、R、Rstudio)
*********************************************************************************

3:hadoop2.2.0搭建
编译:hadoop2.2.0源码编译(CentOS6.4)
安装:hadoop2.2.0测试环境搭建
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
4:zooKeeper3.4.5 + HBase0.96.0搭建
zookeeper3.4.5安装笔记
HBase0.96.0 for Hadoop2.2.0编译
Hbase0.96.0 +hadoop2.2.0安装
大数据分析实验环境搭建 - mmicky - mmicky 的博客

5:hive0.11.0 + pig0.11.1 +mahout0.6搭建
Hive 0.11.0 远程模式搭建
pig安装和配置
Mahout初体验
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
6:sqoop1.4.4搭建
sqoop1.4.4 for mysql
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
7:R + Rstudio
RHadoop搭建(HDFS+MapReduce)
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
8:MySQL5.6.12搭建
MySQL5.6.12 for Linux安装
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
9:oracle12cR1搭建
oracle12c的安装和oralce11g的安装相差不大,虽然在使用上有很大差距,但安装可以参见:
ASM安装Oracle11R2系列(一:UDEV单盘配置)
为了方便起见,采用了文件方式安装,而非ASM方式安装。
大数据分析实验环境搭建 - mmicky - mmicky 的博客
 
10:eclipse
eclipse开发hadooop2.2.0程序
使用Eclipse开发HBase应用程序
大数据分析实验环境搭建 - mmicky - mmicky 的博客
  评论这张
 
阅读(566)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017