整个HDFS集群只有一个NameNode，它存储整个集群文件分别的元数据信息。这些信息以fsimage和editlog两个文件存储在本地磁盘，Client通过这些元数据信息可以找到相应的文件。此外，NameNode还负责监控DataNode的健康情况，一旦

在分析HDFS的一致性之前, 我们先得解决HDFS客户端行为的几个问题。HDFS是根据Google的GFS论文所实现的, 初期时它的主要设计目标是为了存储MapReduce所操作的大型数据集。一般情况下, 各个reducer的结果将分别写入一个HDFS文件

有时需要替换HDFS上的文件，但Hadoop目前没提供相应的hadoop fs -mv命令，如是自己动手通过脚本实现，此脚本支持通配符，支持文件夹整个上传等：。/usr/bin/env bashprePath=$2args=$1func_putFile()

可以在执行上传文件命令时，显示地指定存储的块大小。我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。

使用0.22.X系列版本的Hadoop快有一年时间了，主要集中在HDFS上。期间自己参与了部署Hadoop集群，也参与了分析HDFS的源码。这几天，由于项目需要，转移到了0.22.0版本了，需要重新部署Hadoop集群。这次部署要牵扯到mapreduce项

sqoop 是apache下用于RDBMS和HDFS互相导数据的工具。本文档是sqoop的使用实例，实现从mysql到hdfs互导数据，以及从Mysql导数据到HBase。下载：http://www.apache.org/dyn/closer.cgi/sq

什么是高可用性？高可用集群是指以减少服务中断时间为目的的服务器集群技术。高可用性HA指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。

在HDFS中，NameNode用来管理文件系统的命名空间，其将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息会在硬盘上保存为fsimage和edits文件；其还保存了文件包含哪些数据块，分布在哪些数据节点上，但这些数据并不保存在硬盘上，而是在系

使用Hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api

大家可能对本地文件系统中的文件I/O流已经是非常的熟悉了，那么，像HDFS这种分布式的文件I/O流——基于网络I/O流的数据流，又是如何实现的呢？这就是本文的重点之一：HDFS的文件写入流。还是贴一张该对象的类图吧！噢，当DataStream把一个Bloc

众所周知，在HDFS集群中，主要有两类节点，即NameNode和DataNode节点，确切的说，一个NameNode节点，其它的所有DataNode节点。关于NameNode和DataNode的各种启动方式是如何工作的，我在这里不会一一讲解，但我会在以后的