注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

mmicky 的博客

追逐刹那的惊艳

 
 
 

日志

 
 

Spark1.0.0 的一些小经验  

2014-03-11 13:17:45|  分类: spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1:关于读取本地文件
使用spark-shell连接Spark集群,然后在运行应用程序中读取本地文件时,会经常碰上文件不存在的错误。
主要原因是由于:
spark-shell作为应用程序,是将提交作业给spark集群,然后spark集群分配到具体的worker来处理,worker在处理作业的时候会读取本地文件。这时候冲突就发生了,运行spark-shell的机器可能和运行worker的机器不是同一台,而文件是放在运行spark-shell的机器上,运行worker的机器上没有,就出现了上面的错误。
解决方法:
将文件复制到所有节点相同的目录上,或者将文件复制到worker相同的目录上(这个有点难度,要先看日志来判断,spark-shell 的一些小经验 - mmicky - mmicky 的博客)。

2:关于Core数量的设置
缺省的情况下,spark-shell会使用spark集群中的所有剩余的Core,但可以通过设置 -c 参数来指定使用的Core数量。这样就可以将多个spark-shell连接到spark集群上了。
  评论这张
 
阅读(259)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017