When start the hadoop by "./start-all.sh" after configured which followed suggestion of other's bolgs.the warning was

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。关于DKHadoop的安装留在后面再给大家分享，本篇就跟大家聊一聊关于hadoop分布式集群环境搭建规划。

因为公司项目需要，开始搭建hadoop的集群环境。非常感谢此文的作者。基本按照这个走下来是没有问题的。这里只是加一些注意事项。Centos 7 64 位： 3 个。三个节点里面resource manager 和 namenode 都是要用master 的

另外每个zk的instance，都需要设置独立的数据存储目录、日志存储目录，所以dataDir、dataLogDir这二个节点对应的目录，需要手动先

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。　　Mapreduce是一个计算框架，既然是做计算的框架，那么表

1，hbase regionserver 向zookeeper注册，提供hbase regionserver状态信息。2，hmaster启动时候会将hbase 系统表-ROOT- 加载到 zookeeper cluster，通过zookeeper clus

安装完成之后，打开终端，输入java -version ,出现类似如下说明安装成功。配置hadoop 里面hadoop-2.6.0/etc/hadoop文件夹四个文件。即去掉前面的解释符#，mac的jdk安装在根目录Libray文件夹下面。

hdfs-site.xml:Hadoop守护进程的配置项，包括namenode，辅助namenode和datanode等。mapred-site.xml：MapReduce守护进程的配置项，包括jobtracker和tasktracker。

2.删除namenode和datanode上的data目录

TaskTracker 需要把这些信息通过 heartbeat 发送给 JobTracker，JobTracker 会搜集这些信息以给新提交的 job 分配运行在哪些机器上。上述框架 简单明了，但是有利就有弊1：JobTracker 是 Map-reduc

由于2.5.x已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点描述一下namenode和secondarynamenode不再同一台机器上的配置方法，以及namenode宕机后meta数据的恢复方法，并且描述一下几个主要配置文件中配置项

在其内写自己代码即可。c) combine不是hadoop标配，其有使用局限性，不会对多个map的输出做处理，不能跨map任务执行，不能代替reduce的作用，不使用combine下，reduce会接受到7个数字， 总和为 10，在除以7 结果为 10/7

记录卸载过程和问题。现有环境Cloudera Manager + 的CDH环境。for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume;do kill $;

1：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）E：在新节点中执行 ./bin/hadoop-da

上次搭建hadoop1.2.1分布式集群，这次搭建hadoop2.4分布式集群，由于是在自己的笔记本上搭建集群，所以必须在虚拟机下安装多linux系统来模拟真实的分布式集群环境，我们用的虚拟机是VmWare10，选择的是linux发行版CentOs6.0，

1.MalformedByteSequenceException原因：因为xml解析时出现乱码|解决方案：xml应该用正确的编码方式保存。 2.HostNameException更改hostname和hosts文件，注意拼写是否正确。

安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。答案

Hadoop中节点之间的通信是比较复杂的一个网络，若可以把它们之间的通信网络了解清楚，那么对于Hadoop的整体框架理解会有很大帮助。HDFS中有5种协议：。所有的HDFS通讯协议都是建立在TCP/IP协议之上，客户端通过一个可配置的TCP端口连接到Nam

例如给出文件系统抽象，对文件系统上存储的文件执行基本操作进行抽象。抽象类定义了文件系统所具有的基本特征和基本操作。首先从该抽象类的属性定义来看，这些属性描述了文件系统的静态特性。* An abstract base class for a fairly g

void setConf; //获取配置信息的方法： Configuration getConf();实现了Configurable接口，也就是必须实现接口中的两个方法，当然并不是直接实现的，而是调用Configuration类来实现的，这里我们如果希望自