查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 
 
 
 

RDD 细解

2014-4-26 14:45:41 阅读232 评论0 262014/04 Apr26

占个茅坑先~

作者  | 2014-4-26 14:45:41 | 阅读(232) |评论(0) | 阅读全文>>

HDFS实验之二:关于复制因子

2014-3-24 22:40:45 阅读255 评论0 242014/03 Mar24

Hadoop可以通过dfs.replication来设置block
可以再上传文件的同时指定创建的副本数
hadoop dfs -D dfs.replication=1 -put 70M logs/2

可以通过命令来更改已经上传的文件的副本数:
hadoop fs -setrep -R 3 /的复制数量。关于dfs.replication有以下几个特点:
修改了dfs.replication,对已经上传了的文件也不会起作用
dfs.replication这个参数是个client参数

作者  | 2014-3-24 22:40:45 | 阅读(255) |评论(0) | 阅读全文>>

日志处理实验之MapReduce方法

2014-3-9 13:56:00 阅读456 评论0 92014/03 Mar9

1:创建日志格式处理类KPI

package hadoop2.logs;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashSet;
import java.util.Locale;
import java.util.Set;

/*
* KPI Object
*/
public class KPI {
private String remote_addr;// 记录客户端的ip地址
private String remote_user;// 记录客户端用户名称,忽略属性"-"

作者  | 2014-3-9 13:56:00 | 阅读(456) |评论(0) | 阅读全文>>

MapReduce 代码经验集合

2014-3-9 11:53:44 阅读102 评论0 92014/03 Mar9

1:关于Reduce的输入输出类型
在自定义的reduce中,输入的键值对要求与map中的输出键值对相对应。原因很好理解,reduce方法是对map方法的输出结果进行再次处理。对于reduce的输出,则可能根据需要产生一个新的输入输出类型。一个有趣的例子是hadoop2.0的hadoop-mapreduce-examples中的grep,通过InverseMapper将键值对 <K,V> 转换成 <V,K> 。

作者  | 2014-3-9 11:53:44 | 阅读(102) |评论(0) | 阅读全文>>

测试一:域的创建

2013-3-19 21:16:12 阅读88 评论0 192013/03 Mar19

测试环境:
WL_HOME=C:\Middleware\wlserver_10.3
WLS_HOME=C:\Middleware\wlserver_10.3\server
JAVA_HOME=C:\Java\jdk631

目的:创建一个基本域(含一个管理服务器和两个受管服务器)

步骤:
1:所有程序->Oracle weblogic->weblogic server 11gR1->Tools->Configuration Wizard 或 %WL_HOME%\common\bin\config.exe

作者  | 2013-3-19 21:16:12 | 阅读(88) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注