https://i.ancii.com/corejava999/
宇智波带土 corejava999
Ta还没有发布动态 ...
第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。第三类是编程模型，细分为离线编程
1exec插件可以执行Shelltail-f文件命令。优点，实时采集，缺点。如果flume进程重启。将无法找到当时的checkpoint。特别是主文件已经被log4j切走，或者被Shell脚本切走。2spool插件可以检测目录下新增的文件，处理过的文件用.
采用的channels为file，sink为hdfs，此处往hdfs写的策略是当时间达到3600s或者文件大小达到128M。# Use a channel which buffers events in memory. # Bind the source
compilepuppetscrip. [root@hz-ci-05modules]#
ExecSource会readLine()读取日志中的每一行，把其作为每一个flume event的body放进去，这对于大部分这种每行就可以结束的日志记录，是完全可以的：。242016-03-18 17:53:40,278 ERROR [HiveServ
0 关注 0 粉丝 0 动态
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
