显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 
 
 
 

[置顶] Spark1.0.0 学习路线

2014-4-12 10:05:35 阅读2686 评论6 122014/04 Apr12

      2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
      随着国家对软件安全的重视,Spark1.0.0 学习路线 - mmicky - mmicky 的博客,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作

作者  | 2014-4-12 10:05:35 | 阅读(2686) |评论(6) | 阅读全文>>

[置顶] Hadoop2.x的学习路线

2014-2-25 12:02:56 阅读1121 评论0 252014/02 Feb25

正如人类社会的发展,计算机的计算开始了一场计算框架蜕变的运动,由“高富大”走向了“屌丝”计算的演变过程,而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始,已经有很长一段时间,总结一下自己的学习路线:

1:原理篇
HDFS原理(计划中)
MapReduce原理(计划中)
YARN原理(计划中)

2:运维

作者  | 2014-2-25 12:02:56 | 阅读(1121) |评论(0) | 阅读全文>>

sparkSQL1.1入门之十:总结

2014-10-23 10:08:56 阅读422 评论0 232014/10 Oct23

      回顾一下,在前面几章中,就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。
基本概念:
  • SchemaRDD
    • Rule
    • Tree
    • LogicPlan
    • Parser
    • Analyzer
    • Optimizer
    • SparkPlan
  • 运行架构:

作者  | 2014-10-23 10:08:56 | 阅读(422) |评论(0) | 阅读全文>>

sparkSQL1.1入门之七:ThriftServer和CLI

2014-9-8 4:07:19 阅读693 评论0 82014/09 Sept8

      spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL,在真正意义上进入了SQL时代。下面先简单介绍其使用,限于时间关系,以后再附上源码分析。

1:令人惊讶的CLI
      刚部署好spark1.1就迫不及待地先测试CLI(bin/spark-sql),对于习惯了sql命令行的本人,失去了shark后,对于sparkSQL1.0一度很是抵触(其实对于开发

作者  | 2014-9-8 4:07:19 | 阅读(693) |评论(0) | 阅读全文>>

sparkSQL1.1入门之六:sparkSQL之基础应用

2014-9-7 19:37:06 阅读746 评论0 72014/09 Sept7

      SparkSQL引入了一种新的RDD——SchemaRDD,SchemaRDD由行对象(row)以及描述行对象中每列数据类型的schema组成;SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外,还可以通过registerTempTable注册成临时表,然后通过SQL语句进行操作。
      值得注意的是:
  • Spark1.1使用registerTempTable代替1.0版本的registerAsTable

作者  | 2014-9-7 19:37:06 | 阅读(746) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注