在酷夏的最后一天，CUUG为你再添一把火，携手Oracle举办国内首次Hadoop的技术沙龙，机会难得，火速报名。　　本次Oracle技术沙龙将讲授：Hadoop的历史、Hadoop的框架结构、Hadoop的安装和配置、MapReduce工作原理、Ha

1配置时间同步：。/sbin/ifconfig#检查网络ip配置。4配置集群hosts列表。#复制粘贴一下内容到vi中。7创建hadoop用户及环境。#分配hadoop到hadoop组中。#修改目录结构权限为为hadoop. --hadoopnamenod

修改两个配置文件

http://blog.csdn.net/yizhi401/article/details/24326803

AndrewC.Oliver是一位专业的软件咨询师。他从8岁起开始编程，从Basic与dBaseIII+开始。他最为人所熟知的就是创建了POI项目，该项目现在托管在Apache上。在RedHat收购JBoss之前，他还是JBoss的早期开发者之一。Andr

OPTS好像能够解决一个什么bug，具体忘记了。另外还有就是1.0.4的插件了，这个插件比较难找啊，找了好多试了都没法使用，自己在本地打了一个出来，测试可以使用，附件放在dropins下；在Hadoop1.0.4，Myeclipse8.6下测试通过。第一次

上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟。datanode一样，namenode存储目录需要格式化，datanode存储目录不需要格式。时，jobtracker

单机版hadoop的配置;在开始搭建集群之前我先开始配置单机版的hadoop，说起来真是足够的苦逼啊！

集群中的名称节点会把文件系统的变化以追加保存到日志文件edits中。当名称节点启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。Secondary NameNo

HadoopNameNode高可用实现解析

http://www.blogjava.net/Skynet/archive/2009/07/22/287807.html http://docs.cascading.org/impatient/

压缩与输入分割前提：在考虑如何压缩那些将由MapReduce处理的数据时，考虑压缩格式是否支持分割是很重要的。HDFS将其分为16块。然而针对每一块在进行分块是不可以的，因为gzip合适的文件不支持分割（分块）机制，所以读取他的MapReduce不分割文件

hadoop上的软甲安装一定要注意版本问题，之前搞了很久都不能用是因为eclipse 3.4版本过高，hadoop插件不支持。后来改用eclipse 3.3 运行良好。Hadoop的目录下hadoop-0.20.2\contrib\eclipse-plug

Hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错，下面我们来实际操作和观察。我们来从官网下载的hadoop2.4.1安装包.至于后面是不是64位，大家使用上

# set to the root of your Java installation export JAVA_HOME=/usr/java/latest. # Assuming your installation directory is /usr/lo

Hadoop中可以编写自己的类，用作hadoop job的key或者value类型，自己编写的类要实现接口Writable。然后是类型在序列化的时候写入后读取值不正确，一定要统一类型中write和readFields中写入和读取参数的方法，例如一个int类