运行此命令，去升级namenode的fimage

虽然大数据的发展已经将近10个年头了，hadoop技术仍然没有过时，特别是一些低成本，入门级的小项目，使用hadoop还是蛮不错的。而且，也不是每一个公司都有能力招聘和培养自己的spark人才。我本人对于hadoop mapreduce是有一些意见的。ha

Flume是一个非常优秀日志采集组件，类似于logstash，我们通常将Flume作为agent部署在application server上，用于收集本地的日志文件，并将日志转存到HDFS、kafka等数据平台中；关于Flume的原理和特性，我们稍后详解，

Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图；

在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上在使用过程中遇到一下几个问题，特记于此：。修真门槛障碍描述

执行“jdk-7u80-windows-x64.exe”，步骤选择默认下一步即可。解压hadoop-2.6.4.tar.gz、apache-ant-1.9.6-bin.zip、hadoop2.6V0.2.zip、hadoop-2.6.4-src.tar.g

虽然使用Java编写MapReduce作业有点繁琐，但是对于刚入门hadoop的新手来说，有利于理解hadoop的一些底层实现，这无疑也是一种巨大的收获。目前大部分的MapReduce作业都是使用Hive，Pig完成的，当然也有用其他语言实现的，通过使用H

export PATH=$PATH:$JAVA_HOME/bin然后source该文件，然后查看jdk的版本，看是否配置成功。-- 制定HDFS的老大的地址 -->. -- 指定hadoop运行时产生文件的存储目录 -->

jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：。c) hdfs-s

hadoop环境为本地的伪分布是环境。网络上虽然有很多的hadoop-x.xx.x-eclipse-plugin.jar包，但是很多时候跟你的eclipse版本并不匹配，所以自己编译eclipse插件就很必要。打开eclipse-plugin下面的buil

Apache 基金会今天宣布Apache Drill成为基金会的顶级项目。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会发起了一项名为“Drill”的开源项目。该项目将会创建出开源版本的谷歌Dremel Hadoop工

thisistest

在此文基础上补充几点。参考MapTask write方法 line690。而进入sortAndSpill的时机有map阶段正在进行时缓冲区的数据已经达到阈值，或者map阶段完后的output.close;顺便说一下Mapper的clean方法是在map阶段

本文可以作为Windows下编译Hadoop的参考。Windows SDK和VS是二选一的。B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64&quo

解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird. 配置 hadoop-env.sh, core-site.xml， hdfs-site.xml，mapred-site.xml ，masters

将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/dropins目录下，重启eclipse。插件会自动把hadoop根目录和lib目录下的所有jar包导入。

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。NameNode ，另一台不同的机器被指定为JobTracker ；这两台机器是masters 。而余下的机器即作。为DataNode 也 作为TaskTracker ，这些机器是slaves

如果仅仅是为了实现这个简单的初衷，为什么一切会那么复杂，我觉的自己可以写一个更简单的东西，它不需要过度设计，只需要看上去更酷一点，更小巧一点，功能更强一点。于是我将自己对分布式的理解融入到这个框架中，考虑到底层实现技术的相似性，我将Hadoop,Zooke

下载后扔到eclipse/dropins目录下即可，当然eclipse/plugins也是可以的，前者更为轻便，推荐；重启Eclipse，即可在透视图中看到Map/Reduce。这样可以正常的进行HDFS分布式文件系统的管理：上传，删除等操作。为下面测试做