<!

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字。Hadoop带来了廉价的处理大数据的能力。现今企业数据仓库和关系 型数据库擅长处理结构化数据，并且可以存储大量

因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。

Apache Hadoop是一个开源框架，用于分布式存储以及在商用硬件上运行的计算机集群上的大数据的分布式处理。Hadoop将数据存储在Hadoop分布式文件系统中，并使用MapReduce完成这些数据的处理。YARN提供用于在Hadoop集群中请求和分配

副本放置策略副本放置策略的基本思想是： 第一个block副本放在和client所在的node里。第三个副本和第二个在同一个机架，随机放在不同的node中。Hadoop的副本放置策略在可靠性和带宽中做了一个很好的平衡。机架感知大型Hadoop集群以机架的形式

Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。针对

从namenode中找到下一个块的地址，并找到最佳的文件节点位置。知道读取完成之后，文件输入流会调用close方法关闭流，在之前我们一直提到的hadoop的寻找最近的块或者节点的机制是如何实现呢？hadoop将网络看成一棵树，两个节点间的距离是距离它们最近

HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的。但是这些命令看上去还是和常用的shell命令很类似的。bin etc include lib

hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop

用这个命令bin/Hadoop fs -cat 可以将HDFS上的文件内容读取到控制台。也可以采用HDFS的API来读取。

拷贝另外一台正常journalnode到指定的journaldata目录，重启服务，done

当引入Hadoop-common-2.2.0.jar包进行二次开发，比如读写HDFS文件时，初次运行报错。上属性指定fs.hdfs.impl的实现类。添加完后，问题解决。建议下载hadoop-2.2.0源码，在源码修改core-default.xml文件后

突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/Hadoop dfsadmin -report查看系统状态。哦，看到了吧，发现datanode前面并没有启动起来。去DATANODE上查看一下日志。错误提示namespa

DataXceiverServer是一个socket server，负责接收client发起的socket连接。DataXceiverServer接收到一个socket连接后，启动一个线程DataXceiver，由DataXceiver具体负责该scoke

单台服务器作为Namenode，当文件数量规模不断增大时，元数据的规模增长将是一个需要面对的问题，由于Namenode需要将所有元数据Load到内存中，单台Namenode可能会无法管理海量的元数据。另一个是HDFS中SequenceFile存储方式的讨论

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可

See the Makefile for hdfs_test.c in the libhdfs source directory or something like:. Call to get configuration object from file

HDFS的架构采用master/slave模式，一个HDFS集群是由一个Namenode和多个Datanode组成。也就是说，Namenode结点还负责确定指定的文件块到具体的Datanode结点的映射关系。

在讨论如何从windows上传日志到hdfs时，除cygwin外，我们还测试了另外一种手段：webdav。hdfs-webdav 下载扩展Hadoop hdfs,实现webdav协议. 以便将hdfs映射为本地文件夹.网上关于使用webdav进行上传日志的

HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？在这里，副本的存放策略又是HD