实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中。# 命名此代理上的组件。agent.channels = memoryChannel # Channel的名称。# 定义每个通道的类型。vim example.conf # 这个心启动

scribe_百度百科https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科

　　Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。　

大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图：。hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案

基于Flume设计实现分层日志收集系统，到底有什么好处呢？我们可以先看一下，如果不分层，会带来哪些问题：。如果是外部日志进入平台内部HDFS，这样如果需要对Hadoop系统进行升级或例行维护，这种直连的方式会影响到上游部署Flume的日志流的始端日志收集服

在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查

drwxr-xr-x. 7 root root 187 Apr 29 05:06 flume-1.8.0. -rw-r--r--. 1 root root 1661 Apr 29 06:18 flume-conf. -rw-r--r--. 1 root r

An Avro client included in the Flume distribution can send a given file to Flume Avro source using avro RPC mechanism:. $ bin/fl

Flume 集群搭建 ，配置了2个sink，负载均衡。三台服务器，分别是

sudo bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console

接下来的几篇文章，我们将逐步学习使用各种方式对日志进行采集。本文讲述的是如何使用log4j直接输出日志到flume。先上干货，再讲理论！# For each one of the sources, the type is defined. # The ch

从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出日志收集—Flume。下面简单介绍下flume。flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广

bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console4、安装Kafka. # Lic

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。每个agent都具有三个元素，source、channel、sink。c