运行进度与状态更新1、MapReduce是一个较长运行时间的批处理过程，可以是一小时、几小时甚至几天，那么Job的运行状态监控就非常重要。

当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。当map的产生数据非常大时

当写入一个文件到 HDFS 时，它被切分成数据块，块大小是由配置文件 hdfs-default.xml 中的参数 dfs.blocksize 控制的。每个块存储在一个或者多个节点，这是由同一文件中的配置 dfs.replication 控制。块的每一个 c

分别下载 spark1.7 hadoop2.7.1 scala1.1 zookeeper3.4.6 jdk1.8 解压后放置本地文件夹用于挂载到容器中

首先通过官网下载hadoop-2.5.2-src.tar.gz的软件包，下载好之后解压发现出现了一些错误，无法解压缩， 因此有部分源码我们无法解压 ，因此在这里我讲述一下如何通过maven来获取完整的源码：。通过命令行进入hadoop-2.4.0-src\

安装过程中一定要保持网络畅通！输入网址ambari：8080，这里ambari是lz的主机名，各位改成自己的即可。进入登录界面，默认用户名和密码均为admin，可以在系统里进行修改，安装ambari的过程中也有提示。若选择1.3.3版本，则必须用jdk6，

<dependency> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty-util</artifactId> <

所以要先了解清楚是否搭配再进行部署，不然就白费工夫了。这里使用的是0.20.2的hadoop跟0.20.6的Hbase，hadoop的配置在我以前的博文里有，有需要配置hadoop的朋友先看了那篇文章再进行Hbase的配置吧。具体命令：tar -zxvf