https://i.ancii.com/ynkgyangxw/
ynkgyangxw ynkgyangxw
Ta还没有发布动态 ...
在前一篇文章中，我们已经在Ubuntu搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。首先打开三个虚拟机，现在我们需要安装Scala，因为Spa
1) JDK -- Hadoop是用Java写的，不安装Java虚拟机怎么运行Hadoop的程序；这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务，那运行账户肯定是他了，他肯定要有足够的权限。2）修改/etc/hosts文件
package wc;= 2) {System.err.println("Usage: wordcount <in> <out>");System.exit(2);}
Hadoop是运行在Linux系统下的，但我们在Windows下Eclipse远程访问Hadoop HDFS时，如果两个机子地址不在同一网段便无法相互访问。Windows测试是否可远程连接，只需Dos 执行ping即可。lo Link encap:L
Scala code runner version 2.11.1 -- Copyright 2002-2013, LAMP/EPFL. 然后解压spark，本次选用版本spark-1.0.0-bin-hadoop1.tgz，这次用的是hadoop 1.0.
0 关注 0 粉丝 0 动态
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
