Hadoop Log的输出，对于初学Hadoop的同学来说非常的重要，通过Log可以得到Hadoop的运行过程中，通过分析Log,可以用于Hadoop运行过程中的排错，以及初步了解Hadoop的运行流程。Hadoop采用Log4j作为其Log组件，默认情况

尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。在这个博客帖子中，你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作

在配置好环境后，调试wordcount时，ouput文件夹为空没有任何输出。

[root@hadoop3 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar wordcount /input/test /output. An example program mus

修改办法：修改2个文件。vi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 session re

eclipse中配置hadoop插件1.安装插件 准备程序：下载 hadoop-eclipse-plugin-2.2.0.jar 将 hadoop-eclipse-plugin-2.2.0.jar 复制到eclipse/plugins目录下，重启eclip

numReduceTasks为0，则明显是map直接输出的任务。

从13年初，开始搞hadoop的时候，是采用hadoop-eclipse插件来进行开发mapreduce，发现使用这个插件，其实也就是把相关的jar,class文件提交到远程的hadoop集群。而实际上要部署应用的时候，如果不在远程提交，就得把任务代码打包

在使用上述版本的hadoop和oozie进行开发时，启动hadoop后，NN节点上的进程有NameNode，ResourceManager，DN节点的进程有DataNode，NodeManager，hadoop启动正常，在上面执行自己写的M/R程序也没问题

见附件内容。FileSystem. Writable. RPC概述。RPC.Client. Server. RPC. Protocol. HDFS基本概念。Hadoop Upgrade. Datanode存储。DataNode数据块读写。DataNode协

.getFileContext();//如果运行在hadooplocation中，不需要配置URI，否则需要给一个URI. 然后右键->Run As->Run on hadoop，此时会让你选择一个location，就选中我们刚才新建的loca

为了能使不同的进程互相访问资源并进行协调工作，才有了进程间通信。进程间通信技术包括消息传递、同步、共享内存和远程过程调用。远程过程调用RPC类似于LPC，只是在网上工作。RPC开始是出现在Sun微系统公司和HP公司的运行UNIX操作系统的计算机中。通过IP

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。数据仓库是一个面

在熟悉Hadoop2架构的过程耽误了太长时间，在搭建环境过程遇到一些问题，这些问题一直卡在那儿，不得以解决，耽误了时间。最后，千寻万寻，把问题解决，多谢在过程提供帮助的大侠。在《Hadoop2.5.2+HA+Zookeeper3.4.6配置过程详解》这篇文

Hadoop启动过程中遇到下面的问题：2015-08-02 19:43:20,771 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /*****************

系统管理现在处于一个癫狂的时代，一片混乱。我并不是抱怨老式系统管理员们，他们还是知道如何让系统工作起来，知道怎么更新系统和如何升级扩容。这篇吐槽是关于容器、预构建虚拟机镜像的，它们真是令人难以置信的混乱，它们的脑子里面就根本没有“可信”和“升级”的概念。这

近学习Hadoop，在Windows+Eclipse+虚拟机Hadoop集群环境下运行Mapreduce程序遇到了很多问题。上网查了查，并经过自己的分析，最终解决，在此分享一下，给遇到同样问题的人提供参考。虚拟机上4台机器：192.168.137.111、

"); } } //添加数据，通过HTable。