#上传文件的前缀。#重新定义时间单位。#是否使用本地时间戳。#积攒多少个Event才flush到HDFS一次。#设置文件类型，可支持压缩。#多久生成一个新的文件。#文件的滚动与Event数量无关。# Use a channel which buffers

Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRe

* -report：报告HDFS的基本统计信息。有些信息也可以在NameNode Web服务首页看到。* -safemode：虽然通常并不需要，但是管理员的确可以手动让NameNode进入或离开安全模式。* -finalizeUpgrade：删除上一次升级

在看hdfs时，经常会碰到block，packet，chunk等概念，下面做个简要介绍：

调用文件系统Shell命令应使用 bin/hadoop fs 的形式。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme

DataNode节点向NameNode节点注册，一是告诉NameNode节点自己提 供服务的网络地址端口，二是获取NameNode节点对自己的管理与控制。Datanode 注册只会被两个地方调用， Datanode启动和心跳收到注册命令。DatanodeR

FSDirectory用来管理HDFS整个文件系统的namespace也就是整个目录树.所以FSDirectory负责对 fsimage相关操作。HDFS的各种操作，namenode都会记录相应的操作日志，以便周期性的将该日志于fsimage进行合并，生成

负责为副本不足的数据块选择source 数据节点，选择冗余的target节点，等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作。默认每3s执行一次，可以通过修改dfs.replication.interval来调整执行间隔computeData

IntroductionHDFS是一个分布式文件系统，它具有很高的容错性，可以支持运行在廉价的硬件设备上。HDFS具有很高的吞吐量，非常适合拥有海量数据的application。HDFS放宽了一些POSIX要求，以支持流的方式访问文件系统中的数据。HDFS

kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent,collector,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC、text（文件）等，storage指定用hdfs做。

2 将 /user这个目录下的所有文件归档到/user/har/目录下，名字为user.har. hadoop archive -archiveName user.har -p /user /user/har/命令自动执行一个map，reduce流程，在/

HDFS Snapshot是文件系统在某一时间点的只读的备份，Snapshot可以针对文件系统的子树或者整个文件系统。Snapshot的通常用法是做数据backup，以避免用户错误和灾难恢复。snapshot数据由当前数据减去已经修改的部分。

conf.setProperty("jobTracker","namenode:49001");conf.setProperty("queueName","default");

修改linux打开文件最大限制

用户在hive上建external表，建表的同时指定hdfs路径，在数据拷贝到指定hdfs路径的同时，也同时完成数据插入external表。这种方式常常用于当hdfs上有一些历史数据，而我们需要在这些数据上做一些hive的操作时使用。这种方式导入的本地数据

4.从Datanod获取包信息

hadoop fs -put /tmp/result.log /data/Hive创建数据库# 创建hive数据库。create table t_result ROW FORMAT DELIMITED FIELDS TERMINATED BY '\b'

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。此外，Had

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。调用文件系统Shell命令应使用bin/hadoopfs<args>的形式。所有的的FSshell命令使

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒 10 万