这其中名气最大、使用最广的当属 Hadoop 和 Spark。虽然两者都被称为大数据框架，但实际层级不同。Hadoop 是一个分布式数据基础设施，包括计算框架 MapReduce、分布式文件系统 HDFS、YARN 等。而Spark 是专门用来对分布式存

环境：Hadoop2.2.0hive0.13.1Ubuntu 14.04 LTSjava version "1.7.0_60"Oracle10g到以下地址下载安装包http://mirrors.cnnic.cn/apache/hive/

2014-03-20 21:45:45Full thread dump OpenJDK 64-Bit Server VM :

Cloudera Impala是一个有效的查询大叔据的工具，impala 并不替换建立在MapReduce的批处理框架如 Hive。impalad接受数据库连接层的请求，并对任务进行调度优化。impalad会定期更新它的name和address到Impal

HIVE作为在Hadoop分布式框架下的数据仓库技术，处理大数据量是最基本的诉求，这种海量处理是基于分布式框架，利用分布式存储，分布式计算，利用大集群的资源并行处理海量数据。再往细处说，就是一份海量数据需要多少map来处理，一个map能处理多少数据，这些都

在Windows下通过Cygwin中搭建Hadoop和Hive(0.6)的环境的时候,遇到如下错误。Could not create the Java virtual machine.Invalid maximum heap size: -Xmx4096m

前几天部署了个hive，感觉挺简单，稍微记录下。

因为Hadoop相关组件很多，有hadoop，hbase，hive，pig等，但没有发行套件。而每个组件的开发进度不一，一些组件还没有稳定，版本号很低，经常遇到组件之间不配套引发的莫名其妙的问题。由于hadoop是这套系统的核心，可能需要找一个大家都兼容的

hive是Facebook的产品，很不错。基本上根据文档能对hive快速入门。在使用过程中可能会出现以下问题：当执行下面命令时：Java代码$$HIVE_HOME/bin/hive可能会出现Invalid maximum heap size: -Xmx40