# Flume 监控文本文件sink到kafka

A、启动Kafka集群。bin/flume-ng agent -n a1 -c conf -f conf/fl.conf -Dflume.root.logger=DEBUG,console. bin/kafka-console-consumer.sh --

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。FlumeOG采用了

Flume日志采集框架 安装和部署 Flume运行机制 采集静态文件到hdfs 采集动态日志文件到hdfs 两个agent级联。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。对于一般的采集需求，通过对flume的简单配置即可实现。

Flume主要由3个重要的组件构成：Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。Channel:主要提供一个队列的功能，对source提供中的数据进行简单的缓存。Flume逻辑上分三层架构：agen

如果让你设计分布式计算 存储框架，你应该考虑哪些点？？因为zookeeper分布式下，挂掉哪个节点都不会对整个集群造成任何影响，而hdfs集群 hive集群 hbase集群则或多或少都会对别的节点造成影响，因此zookeeper最适合做配置管理，和个框架之

概述Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。Apache Flume是Apache基金会的顶级项目。现在有两个代码版本线可以获取:0.9.x和1.x。本文档对应的是1.x版

美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第二部分改进和优化，将主要着眼于实际部署和使用

Flume有两种启动方式：使用EmbeddedAgent内嵌在Java应用中或使用Application单独启动一个进程，此处我们已Application分析为主。//3、如果是通过ZooKeeper配置，则使用ZooKeeper参数启动，此处忽略，我们以

"Type":"CHANNEL","StopTime":"0","ChannelSize":"233428","Channel

上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME根据数据采集需求配置采集方案，描

背景介绍回顾ShareSDK，顾名思义，分享的SDK组件，公司基于互联网，早期主要以ShareSDK起家。今日思来，很幸运，能陪着ShareSDK一起成长。用redis等缓存挡住并发，用MySQL来存储数据。前端的报表分析直接操作MySQL即可。业务高峰，

本文只会涉及flume和kafka的结合，kafka和storm的结合可以参考其他文章。Channel ch = getChannel(); Transaction transaction = null; Event event = null; St