照着上面的步骤一步步的解决，但是最后错误频发，没有找到解决方案。后来查遍了几乎所有的google上此类问题，发现是Hmaster没有搞定，这才记起可以用jps命令查看进程情况，一查看，果然是那样，没有Hmaster进程。5）开始换版本的组合，从hadoop

新建系统变量CLASSPATH，值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;在CMD中输入：java或者java -version，不显示不是内部命令等，说明安装成功。安装组件winutils

hadoop的配置文件位于`hadoop-2.7.2/etc/hadoop`下,需要配置`core-site.xml`,`hdfs-site.xml`,`y

Hadoop有三种模式 单机模式、伪分布模式和完全分布模式，这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。在hadoop中配置JAVA_HOME，默认的是export JAVA_HOM

mac中如何设置java 环境变量？ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。创建ssh-key，这里我们采用rsa方式；ssh-keygen -t rsa -P ""进入~/.ssh/目录下，将id_rsa

Hadf-site.xmlmapred-site.xml以及/etc/hosts文件到同目录下覆盖你的文件。这里展示的是集群hadoop单个结点的配置步骤，这里的配置文件时是直接从master那里拷贝，而master自己是要配置的所以这里展示一下需要配置的

Spark是一个针对超大数据集合的低延迟的集群分式计算系统，比比MapReducer快40倍左右。Spark兼容Hadoop的APi，能够读写Hadoop的HDFS HBASE 顺序文件等。多个并行操作，失败自动恢复。有Scala Java Python

前几篇文章主要介绍了单机模式的Hadoop和Spark的安装和配置，方便开发和调试。本文主要介绍，真正集群环境下Hadoop和Spark的安装和使用。在master和slave机器的安装路径和环境变量配置保持一致。安装过程参考《在Win7虚拟机下搭建Had

我的Eclipse是安装在Windows下的，通过Eclipse执行程序连接Hadoop，需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改windows本机ip地址，打开“网络和共享中心“，点击左侧菜单”更

下面以一个实际业务场景中的例子来简要说明。当文件数量较小时，可以考虑使用MultipleOutput来进行key-value的分流，可以按照key的不同，将其输出到不同的文件或者目录中。但是reduce的数量只能为1,不然每个reduce都会生成相同的目录