注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

pig安装和配置  

2013-10-09 01:37:25|  分类: hadoop1 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1:下载并解压缩pig安装文件。
2:在安装pig的客户端建立hadoop集群的启动用户,并将pig的安装目录所有者赋予该用户。
mmicky@wyy:~$ su - root
root@wyy:~# groupadd hadoop
root@wyy:~# useradd -g hadoop -G root,sudo -d /home/hadoop -m -s /bin/bash hadoop

3:将hadoop集群的配置文件复制到pig安装目录下
hadoop@wyy:/app/hadoop/pig0111$ scp -r hadoop@hadoop1: /app/hadoop/hadoop120/conf hadoop120_conf

4:修改.bashrc文件并source .bashrc
export JAVA_HOME=/usr/lib/jdk1.7.0_21
export JRE_HOME=/usr/lib/jdk1.7.0_21/jre
export PIG_HOME=/app/hadoop/pig0111
export PIG_CLASSPATH=/app/hadoop/pig0111/hadoop120_conf
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PIG_HOME}/bin:$PATH

5:Pig在默认情况下是把日志保存在当前目录下,这样不利于分析日志,也不便于管理日志,可以通过修改配置文件来指定存放日志的目录:
hadoop@wyy:/app/hadoop/pig0111$ mkdir logs
hadoop@wyy:/app/hadoop/pig0111$ cd conf
hadoop@wyy:/app/hadoop/pig0111/conf$ vi pig.properties
pig.logfile=/app/hadoop/pig0111/logs

6:启动hadoop集群
7:启动pig
pig安装和配置 - mmicky - mmicky 的博客
 
***************************************************************************************************************
非常重要的两点:
A:启动pig的用户和启动hadoop集群的用户要一样,要不然在pig中会找不到hadoop集群的文件夹:
因为hadoop集群中的目录是用/user/用户名/正常目录来表示的,如果pig用了其他用户名就无法定位了。同样的在eclipse中使用hadoop插件也有这样的问题。
B:由于客户端的java安装路径可能与hadoop集群的java安装路径不一样,所以从hadoop集群中复制过来的conf目录中的hadoop-env.sh中的JAVA_HOME 配置要修改成客户端的JAVA_HOME路径。
**************************************************************************************************************
  评论这张
 
阅读(541)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017