项目名称：快速数据集成系统项目描述：主要将各种数据的类型的实时或者定时进行数据转换，数据类型包括mysql,oracle等关系型数据库，以及kafka和mqs中间件，及obs及ftp文件类型，fihive和hdfs和fibase大数据类型。用分布式系统，前端react主要是数据源及任务配置，adapter任务分化，各种类型插件的reader读完之后，数据缓存在中间件kafka和mqs，再从中间件把数据拿出来，writer插件写入到目标库里面，monitor参与进行插件服务器的监控。上面的是数据分发模式，还要点对点fdiworker模式，读写在一个服务器上面，通过内存做中间件缓存。我这边主要负责fihive插件，将fihive读写性能最优化以及解决客户问题及新的需求，后置处理器的保持数据的不丢失及数据能及时到客户的api接口或者指定的mqs的topic中。adapter收集所有的任务的执行状态，收集用elk链路日志，方便追踪任务问题。Fdiworker使用的内存是有限的，使用容易出现内存溢出，需要排查与修复。红区部分的网络和绿区不通，需要整改部分代码逻辑才能使用，红区的所有的fdi的代码都要负责。公共核心包common编写及维护，后期参与到项目的安全版本升级及代码安全整改。责任描述：1.绿区的fihive读写普通插件及Fdiworker的fihive插件以及后置处理器2.红区的整个fdi