看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename-files -blocks-locations-racks-files 文件分块信息，-blocks 在带-files参数后才显示

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发

Zookeeper最早是Hadoop的一个子项目，主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务，在2010年10月升级成Apache Software Foundation顶级项目，它主要提供以下的四个功能：。所有Server，同一消息发

http://www.aboutyun.com/thread-9406-1-1.html

问题出在哪里不是很清楚，不过貌似是由于每次start后，关机之前没有运行stop的缘故造成的。下面的方法应该有用：。具体原因目前还不清楚，写这个权当是做笔记。

1.配置环境变量，要在安装了JDK前提下

利用WinSCP上传JDK和HADOOP文件，利用putty连接虚拟机中的ubuntu，下载WinSCP，下载putty，下载jdk，下载hadoop. 配置主机名称及网络。替换内容为：192.168.137.128 host001. 查看是否启用IPV6

随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，

最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。再扩展开来，可以利用

在启动Hadoop集群时，由hadoop-daemon.sh脚本指定一些列环境变量，然后log4j.properties文件读取相应的环境变量产生对应的*.log日志文件。hadoop-admin-datanode-horde20.out则是在horde2

也就是说一个task启一个JVM。比如在集群中配置每个slave节点最多同时运行16个map和2个reduce。这表示属于同一job的顺序执行的task可以共享一个JVM，也就是说第二轮的map可以重用前一轮的JVM，而不是第一轮结束后关闭JVM，第二轮再

<jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] |. 打印map和reduce完成百分比和所有计数器。<#-of-events>打印给定范围内jobtra

英文 http://hadoop.apache.org/common/docs/r1.0.0/ 中文 http://hadoop.apache.org/common/docs/r1.0.0/cn/

NameNode的VERSION内容有两个：。把DataNode上的namespaceID改成跟NameNode的一致即可。用脚本可以循环一次执行完：

YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目，而且可以对相同的数据进行不同类型的数据分析。某些情况下，整个数据流可以

所谓公钥登录，就是用户将自己的公钥储存在远程主机上。登录的时候远程主机回向用户发送一段随机字符串，用户用自己的秘钥加密后再发送给远程主机。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。yesWarni

find是linux命令,它将档案系统内符合expression的档案列出来,你可以指要档案的名称、类别、时间、大小、权限等不同命令的组合,只有完全相符的才会被列出来。find可以在当前目录下甚至整个文件系统来查找某些文件或目录;

最后退出root，以下所有操作都在Hadoop用户下进行。如上图，当前登录用户为hadoop，主机名为slave.hadoop，与master.hadoop主机的网络是通畅的。为避免此情况发生，进行如下操作以让主机在ssh连接时自动验证后登录。如上图，密钥

Pig的一些命令操作：这个感觉是不是比比hadoop总是来个hadoop dfs -好多了。

目前机器学习已经成为大数据的典型使用案例，通过收购机器学习创业公司Myrrix，Cloudera又朝着其大数据一站式服务点的目标迈进了一步。Myrrix创始人Sean Owen， 7月16日上午在博客中正式宣布了这一收购，Sean Owen目前已担任Cl