hive由Facebook开源用于解决海量结构化日志的数据统计。hive是基于Hadoop的一个数据仓库工具，是基于Hadoop之上的，文件是存储在HDFS上的，底层运行的是MR程序。hive可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。

ZooKeeper可以独立搭建集群，HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。三个节点均使用CentOS 6.5系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同Hadoop、Hbase、zookeeper目录结构。

最近在学习大数据，需要安装Hadoop，自己弄了好久，最后终于弄好了。网上也有很多文章关于安装Hadoop的，但总会遇到一些问题，所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来，有什么不对的地方大家可以留言更正。备注：配置好了had

Hadoop是一个由Apache基金会开发的分布式系统架构，简称HDFS，具有高容错性、可伸缩性等特点，并且可以部署在低配置的硬件上；同时，提供了高吞吐量的数据访问性能，适用于超大数据集的应用程序，以及通过集群拓扑高效快速的处理数据的能力。本文主要介绍一下

对于Apache 1.x，cloudera CDH发布版本和其他没有yarn的hadoop版本需要使用。# Apache Hadoop 1.2.1 mvn -Dhadoop.version=1.2.1 -DskipTests clean package #

Hadoop集群规划目标：创建2个NameNode，做高可用，一个NameNode挂掉，另一个能够启动；一个运行Yarn，3台DataNode，3台Zookeeper集群，做高可用。在hadoop2中通常由两个NameNode组成，一个处于active状态

以前安装过Hadoop几个版本的单机版，主要是为了研究Hadoop源代码，现在想更加深入Hadoop整个生态系统，选择安装Hadoop完全分布式，由于目前Hadoop最新版本为2.6，于是选择这个版本安装使用。# service iptables stop

MapReduce模型可分为单Reduce模式、多Reduce模式以及无Reduce模式，对于不同复杂度的指数产品生产算法，应根据需求选择不同的MapReduce计算模式。其中，Map阶段负责实现指数产品的核心算法。当指数产品算法涉及到的输入数据包含多个文

Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境，这样一来Hadoop就能以与亚马逊S3、微软Azure以及OpenStack Swift等云存储服务一样的方式去存储数据。例如，对象存储或Key-Value存储具备Hadoop HD

1. 一些概念Hadoop是一套Apache开源的分布式计算框架，其中包括了分布式文件系统DFS与分布式计算模型MapReduce，而MongoDB是一个面向文档的分布式数据库，它是NoSql的一种，而这里所要介绍的就是一个MongoDB的Hadoop驱动