显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 
 
 
 

[置顶] Spark1.0.0 学习路线

2014-4-12 10:05:35 阅读2432 评论6 122014/04 Apr12

      2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
      随着国家对软件安全的重视,Spark1.0.0 学习路线 - mmicky - mmicky 的博客,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作

作者  | 2014-4-12 10:05:35 | 阅读(2432) |评论(6) | 阅读全文>>

[置顶] Hadoop2.x的学习路线

2014-2-25 12:02:56 阅读1040 评论0 252014/02 Feb25

正如人类社会的发展,计算机的计算开始了一场计算框架蜕变的运动,由“高富大”走向了“屌丝”计算的演变过程,而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始,已经有很长一段时间,总结一下自己的学习路线:

1:原理篇
HDFS原理(计划中)
MapReduce原理(计划中)
YARN原理(计划中)

2:运维

作者  | 2014-2-25 12:02:56 | 阅读(1040) |评论(0) | 阅读全文>>

codis

2017-2-22 13:20:43 阅读40 评论0 222017/02 Feb22

1:etcd安装
2:go安装
# yum install go
# vim /etc/profile
export GOROOT=/usr/lib/golang
export GOPATH=/home/app/gosource
export PATH=$GOROOT/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3:codis安装
# go get -u -d github.com/CodisLabs/codis
下载的源码在/home/app/gosource/src/github.com/CodisLabs/codis

作者  | 2017-2-22 13:20:43 | 阅读(40) |评论(0) | 阅读全文>>

redis优化

2017-2-21 8:27:45 阅读29 评论0 212017/02 Feb21


1:打开的文件句柄数
lsof | wc -l
lsof -p 10974 |wc -l

2:打开socket端口数
# netstat -t | wc -l

3:DEV监控
# sar -n DEV 5 100

4:SOCK监控
# sar -n SOCK 5 100
# cat /proc/net/sockstat

5:TCP监控
# sar -n TCP 5 100

6:配置相关
硬件最大可打开文件数/proc/sys/fs/file-max
用户参数/etc/security/limits
root soft nofile 65536
root hard nofile 65536

内核参数/etc/sysctl.conf

作者  | 2017-2-21 8:27:45 | 阅读(29) |评论(0) | 阅读全文>>

sparkSQL1.1入门之十:总结

2014-10-23 10:08:56 阅读365 评论0 232014/10 Oct23

      回顾一下,在前面几章中,就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。
基本概念:
  • SchemaRDD
    • Rule
    • Tree
    • LogicPlan
    • Parser
    • Analyzer
    • Optimizer
    • SparkPlan
  • 运行架构:

作者  | 2014-10-23 10:08:56 | 阅读(365) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017

注册 登录  
 加关注