第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。第三类是编程模型，细分为离线编程

1exec插件可以执行Shelltail-f文件命令。优点，实时采集，缺点。如果flume进程重启。将无法找到当时的checkpoint。特别是主文件已经被log4j切走，或者被Shell脚本切走。2spool插件可以检测目录下新增的文件，处理过的文件用.

采用的channels为file，sink为hdfs，此处往hdfs写的策略是当时间达到3600s或者文件大小达到128M。# Use a channel which buffers events in memory. # Bind the source

compilepuppetscrip. [root@hz-ci-05modules]#

ExecSource会readLine()读取日志中的每一行，把其作为每一个flume event的body放进去，这对于大部分这种每行就可以结束的日志记录，是完全可以的：。242016-03-18 17:53:40,278 ERROR [HiveServ

Flume的部署与测试Flume是一个分布式、高可靠、高可用的日志收集系统。能够有效的收集、聚合、移动大量的日志。把各种类型的数据源采集汇总到各种类型的目的地，flume有一个口号：“我们不生产数据，我们是数据的搬运工。为了保证高可靠输送一定成功，在送到目

解压tar -zxvf apache-flume-1.8.0-bin.tar.gz安装：mv apache-flume-1.8.0-bin /opt/flume-1.8.04、配置。此配置文件，配置了两个source:s1和s2，一个channel，一个s

关注大数据处理，高性能系统服务，关注Hadoop、Flume、Kafka、Spark等离线、分布式计算技术。下为讨论实录数据平台在大部分公司属于支撑性平台，做的不好立刻会被吐槽，这点和运维部门很像。所以在技术选型上优先考虑现成的工具，快速出成果，没必要去担

Apache Flume是一个分布式的、可靠的、可用的系统，可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的Datahub Sink插件将日志数据

本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。Flume 基本概念Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、