1.主要负责对应数据采集部分，对应所有的 python 自动化程序的编写。2.负责对拉取到本地数据进行监控，避免本地文件过多过大，编写脚本监控删除。3.负责为符合业务需求而自定义 flume 中拦截器，以及 elasticsearch 依赖改写。4.由于 elasticsearch 索引建立是根据日期建立，设置定时任务，每天自动创建近 3 天的 elasticsearch 索引。5.难点集中在由于客户不允许在其服务器上安装任何程序，所以只能通过 python 程序多线程远程登录的方式，将对应节点中的日志文件拉取到本地，为方便之后信息查询。