通用型Flume Source插件和Flume Hbase Serializer插件

Github: https://github.com/ares333/apache-flume

Flume Source插件要实现的功能是,监控某个目录下面的子目录中的日志,获取日志句柄定时读取(默认1秒),定时(默认1分钟)检查文件是否过期(通过文件修改时间判断),如果过期移动文件到_finished目录(这个目录可以自定义,并且收集的时候自动会略此目录),定时检测目录下是否有新文件(默认为1分钟),为了简化配置文件一台服务器只需要一个channel即可。Event会附加编码,类型(配置文件中指定),和当前目录名称,方便Sink端逻辑处理。插件的各项指标绝对最优。

继续阅读