查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 
 
 
 

RDD 细解

2014-4-26 14:45:41 阅读224 评论0 262014/04 Apr26

占个茅坑先~

作者  | 2014-4-26 14:45:41 | 阅读(224) |评论(0) | 阅读全文>>

HDFS实验之二:关于复制因子

2014-3-24 22:40:45 阅读235 评论0 242014/03 Mar24

Hadoop可以通过dfs.replication来设置block
可以再上传文件的同时指定创建的副本数
hadoop dfs -D dfs.replication=1 -put 70M logs/2

可以通过命令来更改已经上传的文件的副本数:
hadoop fs -setrep -R 3 /的复制数量。关于dfs.replication有以下几个特点:
修改了dfs.replication,对已经上传了的文件也不会起作用
dfs.replication这个参数是个client参数

作者  | 2014-3-24 22:40:45 | 阅读(235) |评论(0) | 阅读全文>>

日志处理实验之MapReduce方法

2014-3-9 13:56:00 阅读443 评论0 92014/03 Mar9

1:创建日志格式处理类KPI

package hadoop2.logs;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashSet;
import java.util.Locale;
import java.util.Set;

/*
* KPI Object
*/
public class KPI {
private String remote_addr;// 记录客户端的ip地址
private String remote_user;// 记录客户端用户名称,忽略属性"-"

作者  | 2014-3-9 13:56:00 | 阅读(443) |评论(0) | 阅读全文>>

MapReduce 代码经验集合

2014-3-9 11:53:44 阅读95 评论0 92014/03 Mar9

1:关于Reduce的输入输出类型
在自定义的reduce中,输入的键值对要求与map中的输出键值对相对应。原因很好理解,reduce方法是对map方法的输出结果进行再次处理。对于reduce的输出,则可能根据需要产生一个新的输入输出类型。一个有趣的例子是hadoop2.0的hadoop-mapreduce-examples中的grep,通过InverseMapper将键值对 <K,V> 转换成 <V,K> 。

作者  | 2014-3-9 11:53:44 | 阅读(95) |评论(0) | 阅读全文>>

安装mysql-python总结

2013-7-7 16:25:32 阅读147 评论0 72013/07 July7

为了在centOS6.4上安装上mysql-python,安装了N次,将几点经验分享一下:
1:如果是要使用centos自身带的mysql,可以使用yum命令顺利安装
yum install MySQL-python(注意大小写)

2:如果要安装新版的mysql,则要先卸载原有的mysql安装包,即使你在安装centos的时候没选择安装mysql数据库,也有可能已经安装上了这几个数据包,所以先用rpm -qa检查一下,有的话就卸载:

作者  | 2013-7-7 16:25:32 | 阅读(147) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注