注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

Spark1.0.0 学习路线  

2014-04-12 10:05:35|  分类: spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
      2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
      随着国家对软件安全的重视,Spark1.0.0 学习路线 - mmicky - mmicky 的博客,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark,由于其一体化的解决方案、高效的代码编写速度、高速的计算能力,将不断在大数据阵营中脱颖而出。为了方便更多新手投入Spark队伍,笔者将自己的学习经验整理了一下,陆陆续续地以博客形式发布出来,计划60篇左右,尽量在8月底完成,同时也是自己对所学的内容加以沉淀。
      在本系列博客中,所使用的软件有:
Spark 1.0.0

      本系列博客将分成6个部分进行勾划Spark内存计算框架,每周会更新或增加,逐步完善整体。每周周末会更新下图,做了标记的是已经完成的,没作标记的是计划写的或是要准备更新其中内容的,要更新的是以前写的基于Spark1.0.0-SNAPSHOT的博客;同时也会更新下面的博客链接。博客中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。(链接将逐步转移到csdn)
Spark1.0.0 学习路线 - mmicky - mmicky 的博客
 
1:预览篇

2:原理篇
  • Spark1.0.0 编程模型解析
Spark Streaming运行架构基本概念

3:运维篇
部署篇
配置篇
  • Spark1.0.0属性配置
  • Spark1.0.0环境变量配置
  • Spark1.0.0日志配置
  • Spark1.0.0 history server 配置
  • Spark1.0.0 job server配置
运行篇
  • Spark1.0.0应用提交工具spark-submit
  • Spark1.0.0交互工具spark-shell
监控篇
  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0
优化篇

4:Spark生态环境
Spark1.0.0 生态环境
Spark SQL 简介
Spark MLlib 简介
Spark GraphX 简介
BlinkDB 简介
SparkR 简介
相关系统比较
Apache Hadoop MapReduce
Apache Tez
Storm

5:开发篇
Spark1.0.0 开发环境快速搭建
Spark1.0.0 应用
Spark1.0.0 和 Hbase
Spark1.0.0 和 RDBMS
SparkStreaming 和 flume
Spark SQL和hive
Spark1.0.0 案例
历史数据和实时数据分析
欺诈检测
推荐系统

6:源码篇
Spark1.0.0 源码研读环境搭建
一张图看懂Spark源码
Spark1.0.0内核解读
spark-submit 源码分析
RDD 解读
DAG Schedule 解读 
Task Scheduler 解读
Spark AKKA 解读
Spark log4j 解读
  评论这张
 
阅读(2527)| 评论(6)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017