注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

Spark1.0.0 开发环境快速搭建  

2014-06-12 15:43:15|  分类: spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
      在本系列博客中,为了解析一些概念、解析一些架构、代码测试,搭建了一个实验平台,如下图所示:
Spark1.0.0 开发环境快速搭建 - mmicky - mmicky 的博客
 
      本实验平台是在一台物理机上搭建的,物理机的配置是16G内存,4核8线程CPU。平台的环境配置如下:
 机器名 配置 角色 软件安装
 hadoop1 2G内存,双核 hadoop:NN/DN Spark:Master/worker /app/hadoop/hadoop220
/app/hadoop/spark100
/app/scala2104
/usr/java/jdk1.7.0_21
 hadoop2 2G内存,双核 hadoop:DN Spark:worker /app/hadoop/hadoop220
/app/hadoop/spark100
/app/scala2104
/usr/java/jdk1.7.0_21
 hadoop3 2G内存,双核 hadoop:DN Spark:worker /app/hadoop/hadoop220
/app/hadoop/spark100
/app/scala2104
/usr/java/jdk1.7.0_21
 wyy 16G内存,四核 client /app/hadoop/hadoop220
以上hadoop和spark安装目录的用户属性都是hadoop(组别为hadoop),其他的安装目录的用户属性是root:root。

      实验平台搭建顺序
1:虚拟集群的搭建
A:hadoop2.2.0集群搭建
或者参看视频 http://pan.baidu.com/s/1qWqFY4c 提取密码:xv4i
B:Spark1.0.0 Standalone集群搭建

2:开发端的搭建
      客户端采用的Ubuntu操作系统,而Spark虚拟集群采用的是CentOS,默认的java安装目录两个操作系统是不一样的,所以在Ubuntu下安装java的时候特意将java的安装路径改成和CentOS一样。不然的话,每次scp了虚拟集群的配置文件之后,要修改hadoop-env.sh中的java配置。
      客户端hadoop2.2.0和Spark1.0.0是直接从虚拟集群中scp出来的,放置在相同的目录下,拥有相同的用户属性。
      开发用的IDE采用IntelliJ IDEA,项目的搭建参见博客使用IntelliJ IDEA开发Spark1.0.0应用程序
      应用程序的部署和调试参见博客应用程序部署工具spark-submit 。

3:实验数据来源
      实验用的数据来源于搜狗实验室下载地址为:http://download.labs.sogou.com/resources.html?v=1
  • 互联网语料库(SogouT)
  • 网页搜索结果评价(SogouE)
  • 链接关系库(SogouT-Link)
  • SogouRank库(SogouT-Rank)
  • 用户查询日志(SogouQ)
  • 互联网词库(SogouW)

4:伪分布式实验平台搭建
      上面的实验平台是将hadoop集群、Spark集群和开发环境分离,更接近生产系统;但很多朋友的物理机配置可能偏低,那样的话可以采用伪分布式部署。但伪分布式会有一些缺陷:
  • spark的数据本地性不易测试
  • 对于并行性不易理解
  • job调度不易理解
      至于伪分布式的部署很简单,步骤和虚拟集群搭建差不多,只要修改两个地方:
  • ssh无密码登陆只需要ssh一下本机
  • hadoop和spark的配置文件salves修改成本机机器名

5:调试工具
  • 日志配置(尚未撰写博客,最近写完补上链接)
  • history server配置(尚未撰写博客,最近写完补上链接)
  • job server配置(尚未撰写博客,最近写完补上链接)
  评论这张
 
阅读(413)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017