项目三、量测中心数据接入 ●项目简介： 数据接入服务的主要功能是实现各系统量测数据接入业务中台，并统一模型、同源存储，系统关联、统一管理，为测点中心提供稳定的服务支持。●技术架构： SpringBoot+MyBatis-Plus+Redis+Hbase+postgreSQL+MySql+kafka+MQ+eFile●个人职责：1.开发前置程序，统一各个现场消息格式，使用kafka把处理完成的消息推送后端；2.开发使用DataCarrier大表分区读取，多线程异步处理读表，提升读表和数据处理效率；3.将各网省的每日高达千万级的量测数据转化入库3.维护、更新业务需求，支撑各现场各种程序。效率、配置上的问题，解决bug，优化性能。●技术亮点：1.hbase集成工具：该工具是提供对不同类型的hbase组件基本操作的工具，因为各现场分 为mrs，ots，自建cdh三个类型，且各类型的hbase组件的sdk存在差异不能共用，各组 件必须使用自身厂商发布的sdk，因此实现各类组件自身的功能代码统一的接口。2.优雅停机：向JVM注册一个钩子，在关闭服务前做一些善后工作，例如关闭线程，释放资源，处理一些未完成的任务等，而不是直接关闭服务。因为数据接入hbase数据是多线程执行，在程序关闭时有可能丢失一些数据，所以优雅停机主要的善后工作就是将内存中未处理完的数据处理完毕后再关闭服务。3.LFU缓存工具：LFU是比较常用的淘汰策略算法，由于数据接入程序在接入过程中需要频繁的访问redis获取测点对应关系数据，频繁访问redis会导致超时等一些问题出现，因此通过LFU算法对高频数据缓存，从而减轻redis服务器压力。4.批量数据多线程处理工具：接入方案中，批次查询数据库并处理数的场景很多，因此该模块主要是将多线程分批次查询数据的业务场景提取成一个通用的模板，处理类型场景的业务只需要按照规范调用，就可以实现多线程批次处理数据的代码，开发人员只需要关注如何处理数据。