# Name the components on this agenta1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2. #此处若只写.log那么肯定不行啊，这样就只监测文件名称为.log的文件而不是后缀

c.将apache-flume-1.5.0-src文件夹中的内容全部复制到apache-flume-1.5.0-bin文件中

工欲善其事，必先利其器。它具有简单灵活的基于数据流的体系结构。它具有健壮性和容错性，具有可调的可靠性机制和许多故障转移和恢复机制。它时一个使用一个简单的可扩展数据模型，允许在线分析应用程序。flume作为cloudera开发的实时日志收集系统，收到业界的普

之后，我们可以通过http://<hostname>:<port>/metrics来取得metrics信息

这么好的taildir source有一点不完美，不能支持递归监控文件夹。所以就只能修改源代码了……* A {@link Source} that requires an external driver to poll to determine. * wh

Flume是一个分布式、高可靠、高可用的日志收集系统。能够有效的收集、聚合、移动大量的日志。把各种类型的数据源采集汇总到各种类型的目的地，flume有一个口号：“我们不生产数据，我们是数据的搬运工。

　　Spark Streaming整合Flume。flume和spark一个work节点要在同一台机器上，flume会在本机器上通过配置的端口推送数据。streaming应用必须先启动，receive必须要先监听推送数据的端口后，flume才能推送数据。　

在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统做的优化。只将我们需要的metri

tar -zxvf apache-flume-1.6.0-src.tar.gzcopy src中的内容到bin中。cp -ri apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/在conf创建example文件

需要把spark-streaming-flume-sink_2.11-2.1.3.jar放到flume的lib目录下使用scala-library-2.11.8.jar替换之前的scala-library-2.10依赖的jar包9.1 poll拉模式整合

踏浪无痕 岂安科技高级架构师 十余年数据研发经验，擅长数据处理领域工作，如爬虫、搜索引擎、大数据应用高并发等。担任过架构师，研发经理等岗位。曾主导开发过大型爬虫，搜索引擎及大数据广告DMP系统目前负责岂安科技数据平台开发与搭建。笔者先后使用logs

美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第二部分改进和优化，将主要着眼于实际部署和使用

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 可扩展性Flume采用了三层架构，分别为agent，collector