大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕

接下来分享大数据学习资料，今天的主题是Hadoop，分为 3 份教程，各不相关联，读者请自己选择来学习。只有第二部分是压缩版的，另外两部分都可以在线观看，请根据自己的实际情况保存学习。

接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用

hadoop版本是CDH5.3.3的，安装了伪分布模式，一直以来程序运行好好的，突然间运行mapreduce程序卡在runningjob上 ，mapreduce已经提交到yarn上去了 一直卡着没动 ，纠结了N天，总算搞定了，显然不是内存的问题。DEPRE

0 注意： hadoop2中 不识别 _ 如果你在hadoop2的配置文件中出现_ 会报错，可以改名成 h2single511-115. a) 设置ip地址 这里设置为192.168.1.114b) 关闭防火墙c) 关闭防火墙的自动运行d) 设置主机名 这

HIVE的特点：可伸缩，可扩展，容错，输入格式的松散耦合。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe

《Apache Mahout Cook》 第二章的标题是：Using Sequence Files – When and Why ?看了半天也没看懂需要sequence file的原因。其实是因为我对hadoop不了解。sequence file 是had

hadoop 2.2.0相比于hadoop 0.20.X的安装很不一样。The actual number of replications can be specified when the file is created.The default is u

随着集群规模和负载增加，MapReduce JobTracker在内存消耗，线程模型和扩展性/可靠性/性能方面暴露出了缺点，为此需要对它进行大整修。当我们对Hadoop MapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。ASM主要负

将JDBC驱动mysql-connector-java-5.1.18.jar拷贝到/home/ysc/sqoop-1.4.4/lib

MapReduce仍是当前使用最广泛的计算框架。YARN利用异步模型对MapReduce框架的一些关键逻辑结构进行了重写，相比于MRv1，具有更快地计算速度。当然，YARN具有向后兼容性，用户在MRv1上运行的作业，无需任何修改即可运行在YARN之上。将各

当我们执行文件系统格式化时，会在namenode数据文件夹中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存的current/

假如用hadoop0.20.203版本，hbase会提示hdfs不支持append特性而可能会导致数据丢失，而且事实上，这种情况在我们系统中已经遇到，在写数据的时候，rs挂掉，数据丢失。暂时准备把hadoop迁移到cdh3u3上，因为是不同版本之间的迁移，

导致我在测试hive0.9的时候，启动hive就报这个错，但是hadoop-env.sh中指定的还是原来的，执行时候最终使用的是这个脚本中指定的hadoop路径；

由于hadoop只能在Linux环境下运行，所以对于在windwos系统下使用IDE工作的开发人员来说，调试是件麻烦的工作，所以我们今天要配置的Hadoop开发环境是在WindowsXP系统下，并集成eclipse使开发人员在做hadoop开发时更容易调试

随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，

JAVA_HOME=...,去掉#，然后加上本机jdk的路径,可以从/etc/profile中找到，本机的为/usr/lib/jvm/java-6-sun）,如图15

以前用的是0.18.3，现在改用0.20.2，結果发现mapreduce的接口变了好多，而《mapreduce 权威指南》这本书上还是0.18.3的接口，这里记录一下今天下午的探索：。最大的变化是作業配置那部分，新的版本里面不再使用JobConf, 而是使

所有的基本的配置，在下载下来的hadoop包中都有。修改以下配置文件。# The only required environment variable is JAVA_HOME. All others are. # optional. When runni

在我们的集群中，HBase的错误是通过splunk和nagio的报警机制报告的。Google是工程师离不开的工具啊。在日志中可以发现很多exception，最直接的方法就是找到第一个exception。但是不要只是grepError信息，因为HBase的l