背景：公司各个业务线，会生产很多的日志，包括前端的打点上报日志、监控日志、后台的埋点日志 和业务系统的运行日志等，这些日志分布在不同的机器上，会做不同的处理，包括日志检索、性能监控、ETL入库等，这些操作都需要把日志采集到不同的服务中去，包括Kafka、hive、hdfs和ES等。这 些操作就需要一个统一的平台来进行处理，为了解决这一个问题，我们开发了日志收集平台。 负责：平台的方案设计，整个后端系统的开发, Flume二次开发(传输速率限制,大日志过滤,传输进度, 日志done标记,COS、OSS和BOS的sink组件,支持备用kafka集群等)技术栈：Python、Flume、Tornado(Python web框架)、JAVA