解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird. 配置 hadoop-env.sh, core-site.xml， hdfs-site.xml，mapred-site.xml ，masters

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常。如下图所示，最直接的一个异常:. 下面进

对于测试集群，如果通过ambari安装Hadoop集群后，想重新再来一次的话，需要清理集群。对于安装了很多hadoop组件的话，这个工作很繁琐。postgresql软件卸载后，其数据还保留在硬盘中，需要把这部分数据删除掉，如果不删除掉，重新安装ambari

如果存在则返回0。-z 检查文件是否是0字节。-d 如果路径是个目录，则返回1，否则返回0。

Hadoop作为搭建大数据处理平台的重要“基石”，关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统，因此在安装的时候，需要多每一个节点进行组建的安装。并且由于是开源软件，其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时

大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕

ambari-server安装 2 自定义安装服务 hadoop

hadoop Error: JAVA_HOME is incorrectly set.mklink/J D:\tools\java"D:\ProgramFiles\Java\jdk1.7.0_67"

The Map Task: This is the first task, which takes input data and converts it into a set of data, where individual elements are b

新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这里先把一些技术的理解记一下：

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常。如下图所示，最直接的一个异常:. 1,安

在Window-->Show View中打开Map/Reduce Locations。在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。pro

hadoop在如下的几种应用场景里，用的还是非常广泛的，1，搜索引擎建索引，2，topK热关键词统计，3，海量日志的数据分析等等。不过本篇散仙，要演示的例子还是基于MapReduce来完成的，有兴趣的朋友，可以研究一下使用Tez。

NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。通过将Ganglia和Nagios组合起来，把Gan

上一篇文章中介绍了如何生成hadoop-x.xx.x-eclipse-plugin.jar的生成，本章介绍使用插件连接hadoop服务器，执行hadoop下的example程序。1 将hadoop-x.xx.x-eclipse-plugin.jar 拷贝到

hive> create table studentROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE;hive> create t

1 当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径。2 把这些文件进行分片，分片的个数决定Map执行对象的个数，Map越多消耗资源越多。3 setInputFormat 设定输入文件内容的分隔格式。2 记录读取器：定义了如

3) -delete：将corrupted文件删除。4) -openforwrite：将那些已经打开正在写入操作的文件目录打印在屏幕上，条目信息后面将会提示：。7) -locations：打印blocks的位置信息。6) -kill-task <ta

4.dataNode之间传送数据包，实例化到本地，心跳nameNode blockReport上报数据块信息，兵反向发送确认包

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。Spark是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果，并能适时主动推Map/Reduce任务，