1.主要负责对应数据采集部分,对应所有的 python 自动化程序的编写。
2.负责对拉取到本地数据进行监控,避免本地文件过多过大,编写脚本监控删除。
3.负责为符合业务需求而自定义 flume 中拦截器,以及 elasticsearch 依赖改写。
4.由于 elasticsearch 索引建立是根据日期建立,设置定时任务,每天自动创建近 3 天的 elasticsearch 索引。
5.难点集中在由于客户不允许在其服务器上安装任何程序,所以只能通过 python 程序多线程远程登录的方式,将对应节点中的日志文件拉取到本地,为方便之后信息查询。