https://i.ancii.com/wsong14/
wsong wsong14
Ta还没有发布动态 ...
# Flume 监控文本文件sink到kafka
A、启动Kafka集群。bin/flume-ng agent -n a1 -c conf -f conf/fl.conf -Dflume.root.logger=DEBUG,console. bin/kafka-console-consumer.sh --
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。FlumeOG采用了
Flume日志采集框架 安装和部署 Flume运行机制 采集静态文件到hdfs 采集动态日志文件到hdfs 两个agent级联。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。对于一般的采集需求，通过对flume的简单配置即可实现。
Flume主要由3个重要的组件构成：Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。Channel:主要提供一个队列的功能，对source提供中的数据进行简单的缓存。Flume逻辑上分三层架构：agen
0 关注 0 粉丝 0 动态
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
