<!

大数据是这个时代最热门的话题之一。它描述了一个庞大的数据集，并且正在以惊人的速度增长。大数据除了体积和速度外，数据的多样性和准确性也是大数据的一大特点。这些也被称为大数据的4V特征。计算时间随数据量的增加而增加。但一般来说，我们可以说，我们无法使用传统系统

在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的

Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模

删除hdfs文件报permissiondenied的处理,分M/R和客户端程序两种情况.Switching from one parameter value to the other does not change the mode,owner or gr

单台服务器作为Namenode，当文件数量规模不断增大时，元数据的规模增长将是一个需要面对的问题，由于Namenode需要将所有元数据Load到内存中，单台Namenode可能会无法管理海量的元数据。另一个是HDFS中SequenceFile存储方式的讨论

小文件指的是那些size比HDFS的blocksize小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，没一个o

都说防火墙，datanode没有正常启动的问题，可是检查了都是正常，后来还是在老外的网站上找到了解决的方法

DataNode结点会先在NameNode上注册，这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟DateNode交互，以取得文件的块列表。如果hdfs-site-xml中不配置namenode 和datanode的存放位置，默认就放在这个路径

4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及内容数据进行维护，并不断读取记录集群中DataNode主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储；

JournalNode使用资源很少，即使在实际的生产环境中，也是把JournalNode和DataNode部署在同一台机器上；生产环境中，建议主备NameNode各单独一台机器。准备工作：1.在4台机器都配置hosts；2.配置NameNode节点可以免密

用HDFS的API也是可以的。= 1){ System.out.println; System.exit; } Configuration conf = new Configuration(); FileSystem hdfs = FileSystem

不经意，实验室的Hadoop集群也运行了一年多了，数据量和log都在日增。最近准备开始新的项目，于是简单地给集群加几块硬盘，来做些地学数据挖掘的工作。Hadoop扩容是非常简单的事情。能够查看到各个硬盘的详细情况。首先，使用vi或者emcas查看我们的Ha

主机名master，slave1 2台机器，crontab -e 0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP. 50台机器以下免费。在ClouderaManager页面

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行

随着捕获的数据的数量每年增加，我们的存储也需要增加。很多公司正在认识到“数据为王”这一道理，但是我们如何分析这些数据呢？答案就是“通过Hadoop”。在这篇文章中，也是三部曲中的第一篇，Steven Haines 对Hadoop的架构作了综述，并从一定高度

Hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供

在使用HBase一定要明白HBase的适用场合，因为HBase并非适用于每种情况。首先，要确认有足够多的数据存入HBase。基于传统关系型数据上的应用不能通过简单的更换JDBC驱动程序"迁移"到HBase。系统从普通的关系型数据库迁移到

对cygwin不熟，所幸我只是需要进行很简单的应用，在同事的帮助下完成了这个工作。这里大致说一下，给大家提供一个思路。直接拉一个liux上部署的hadoop，并部署到本地。以cloud用户的身份运行这个脚本后，cygwin会其安装目录下的home文件下创建

HDFS，Hadoop Distributed File System，是一个设计用来保存大数据量的数据的分布式文件系统，并提供快速访问这些数据的能力，数据通过冗余的方式保存在多台机器上，以来保存对失败的容错性和并行应用的高度可用性。NameNode并不直