汇观项目。 开发环境：springboot +mybatise+mysql+JpaRepository 项目时间：2022.08-2022.12项目描述：汇观项目是一个由我们公司自己研发的一个大数据产品， 汇观中大致有这个几个模块，数据治理，数据中台，数据接入，系统告警等。而我在该项目主要负责的是数据接入。大概内容就是，根据别人提供的接口或者数据源，来进行数据采集，清洗，入库。工作中主要的难点：1、搭建数据接口进行可视化处理，根据提供的IP接口，解析出对应的json格式的数据，将这些json格式中的这些数据，以及他们的业务关系后，将这些数据灌入到不同的数据库中的不同的表中。2、数据采集的过程中如何保证每次采集的数据不会重复，记录数据正常情况下拉取到哪里，异常情况下数据拉取到哪里，详细日志的处理，这样方便运维人员分析处理数据。责任描述： 1、搭建数据接入进行可视化处理，根据别人提供的接口路径，请求参数获取到数据，并通过jdbcTemple这种spring封装好的工具，将数据导入到不同库中的不同表中。2、保证数据的一致性：spring+ JpaRepository。整体解决方案，在数据接入的定时任务中加上时间戳。时间戳的作用是每次会根据时间戳来拉取数据，同时保证在数据库添加主键，将每次过来的数据进行重复更新操作。3、测试编写好定时任务接口。将任务接口中的关键参数，可以进行配置化，方便维护人员维护，以及若遇到问题便于定位到问题。