如果存在则返回0。-z 检查文件是否是0字节。-d 如果路径是个目录，则返回1，否则返回0。

本脚本的主要作用：给hadoop的快速大规模的集群分发安装提供了准备，能够很快的完成部分基础设施工作，在这上面我们可以直接配置hadoop，hbase等，然后就能快速使用了。分别在压缩包内的conf目录，关于Hive，暂时没有安装。3，配置etc，hado

Hadoop控制脚本依赖SSH来执行针对整个集群的操作。值得注意的是，控制脚本并非唯一途径，用户可以利用其他方法执行集群范围的操作。为了支持无缝式工作，SSH安装好之后，需要允许Hadoop用户无需键入密码即可登录集群内的机器。最简单的方法是创建一个公钥/

规划三台机器，一种centos1作为master,其余两台机器作为slaves. 配置SSH免登，成功之后ssh localhost, ssh centos2不用用户名密码即成功。rm ./id_rsa* #删除之前的key. ssh-keyg

有时候，我们使用Hadoop处理数据时，在Reduce阶段，我们可能想对每一个输出的key进行单独输出一个目录或文件，这样方便数据分析，比如根据某个时间段对日志文件进行时间段归类等等。这时候我们就可以使用MultipleOutputs类，来搞定这件事， 下

改造MultipleInputs：能够做到HBase文件或者HDFS文件的混合输入改造JobControl和ControlledJob：能够做到一个Job运行完后，先执行扩展类，再运行下一个Job改造HFileOutputFormat和PutSortRed

hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT. 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reduc

而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。假设要进行join的数据分别来自Fi

Hadoop是什么？

FSNamesystem为DataNode做簿记工作，直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。文件名 -> 数据块合法的数据块列表数据块 -> DataNod

http://slaytanic.blog.51cto.com/2057708/516093

public class MultiKey implements WritableComparable<MultiKey> {. private Text departId = new Text();private Text departNo

本人在XP上使用了虚拟机，安装centos,然后eclipse是在centos上使用的。将hadoop eclipse jar丢到eclipse中，重启。如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Red

command="exportHADOOP_HOME=/home/hadoop/hadoop-1.0.3;echo$HADOOP_HOME;exportPATH=$PATH:/home/hadoop/hadoop-1.0.3/bin;echo$P

-move移动受损文件到/lost+found-delete删除受损文件。-files打印出正被检查的文件。-blocks打印出块信息报告。-racks打印出data-node的网络拓扑结构。-refreshNodes重新读取hosts和exclude文件

如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。在这个View中，右键-->New H

snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFSmetadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中，要配置好并正确的使用snn，还是需

长久以来，说起Hadoop，大家只会想到它能承担offline系统的分析工作。的确，它在这个方面做的是很优秀了。为了更好地认识Hadoop的“所为”，我想暂时抛开技术的细枝末节，逐一梳理下Hadoop的各个组件，试着分析下Hadoop离担当online系统

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件，为他们的Hadoop集群。这个博客帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行，建议一个

hadoop的发行版本中都包含了hadoop-eclipse-plugin插件。在开发hadoop应用时，需要首先安装该Eclipse插件。进一步查找资料后，发现直接复制hadoop-eclipse-plugin-0.20.203.0.jar，该包中lib