打算通过yum安装软件，发展之前有软件残骸。使用yum remove也无效，使用rpm -e也无法删除这个软件包。

目录HDFS是什么HDFS的优缺点HDFS的框架HDFS的读写流程HDFS命令HDFS参数1. HDFS是什么 HDFS是Hadoop项目的核心子项目，首先它是一个文件系统，用于存储文件，通过目录树来定位文件位置；其次，它是分布式的，由很多服务器联合起

Hadoop生态系统一直是大数据领域的热点，其中包括今天要聊的HDFS，和计划以后想聊的yarn, mapreduce, spark, hive, hbase, 已经聊过的zookeeper，等等。今天主聊HDFS，hadoop distributed f

早期的Hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。在Active NN和Standby NN之间要有个共享的存储日志的地方，Active NN把EditLog写到这个共享的存储日志

Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dchadoop208Hadoop3 -> dchadoop209. 【这里的值指的是默认的HDFS路径。当有多个HDFS

Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具；另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。例如要查阅README.txt最后一千个字

Hadoop默认的临时文件夹由src/core/core-default.xml中的hadoop.tmp.dir设置，默认值为/tmp/hadoop-${user.name}；hdfs中namenode的namespace信息保存在${hadoop.tmp

Hadoop的设计初衷是服务于off-line的数据存储和处理应用。随着这个产品的不断成熟和发展，对于支持on-line应用的需求越来越强烈。例如HBase已经被Facebook和淘宝用到了在线存储应用中。所以Hadoop的on-line化也是一个趋势。衡

<property> <name>dfs.block.local-path-access.user</name> <value>lv</value> </property>

Hadoop HDFS提供了一组命令集来操作文件，它既可以操作Hadoop分布式文件系统，也可以操作本地文件系统。比如我们在/tmp/charles目录下有个文件叫 textfile.txt，那么我们想上传到HDFS中我们刚才创建的/user/hadoop

Facebook将erasure code应用到内部HDFS集群中，该方案使用erasure code代替传统的三副本策略，在保持集群可用性不变的情况下，节省了数PB的存储空间，Facebook的实现方案目前已贡献给开源社区。如下图所示，HDFS要想容忍2

花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。步骤：执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest". 如果两个集群的hadoo

Hadoop的前身是Apache Nutch，始于2002年，是Apache Lucene的子项目之一。在Google提出在基于自己的BigTable大规模数据存储的Map Reduce计算框架之后，Nutch的发起者开始尝试将二者结合并在2006年分离出

SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。真正的了解了SecondNamenode以后，才发现事实并不是这样的。下面这段是Hadoop对SecondN

我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。我们的团队负责管理一个1200节点的集群，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer。DataN

如果 datanode上有好几十TB的数据 ，那么这个过程的代价将会更加严重。这些磁盘上原本保存的blocks能恢复最好，即使不能恢复，由于namenode有replication机制，也可以保持这些 blocks的副本数不会低于dfs.replicati

现在关键的问题就是NameNode如何把一个ip地址解析成一个路径的形式。刚才说了，NameNode是按照用户设计的转换规则来的，它自己并不知道如何转换，也就是说这个转换是交由用户自己来实现的。HDFS将ip地址转换成路径的操作交给了用户自己来实现，即用户