项目介绍：xxx能力中台，是基于xxx基础研发平台的技术架构之上，封装xxx公司核心检测能力引擎，并基于多租户管理和健全的服务授权机制，开放统一封装对接的能力API ，以共享服务形式沉淀核心技术能力，帮助xxx公司快速低成本进行应用产品业务构建。能力包含Android、iOS应用脱壳能力、源码漏洞、病毒检测能力、动态运行检测能力、静态函数分析，正盗版分析能力；公众号、小程序源码漏洞检测能力，IOT固件检测能力；文本识别能力、图片资源涉黄、涉恐、涉爆、涉政检测能力；SDK源码检测能力等技术栈：SpringBoot、SpringCloud、Spring Cloud Alibaba、Security、Spring Cloud Gateway、Alibaba Nacos、Alibaba Sentinel、Spring Data Jpa、Spring Cloud OpenFeign、RestTemplate、Spring Cloud Loadbalancer、Skywalking、JetCache、 Caffeine、Kafka、Springdoc、OpenAPI、Redis、Oauth2.0、Swagger 3、Mybatis、Postgresql、Elasticsearch、Logstash、 kibana、FreeMarke、xxl-job、MongoDB、FastDFS、OCR 识别、NLP 语义分析、Tensorfow、MQTT、ADB、APKParse工作内容：1．整体架构设计：1.1）依据逻辑视图、开发视图、物理视图、处理视图、场景视图等4+1视图，分析、设计产品架构蓝图，并形成架构设计文档2.基于Mysql+MongoDB+Es技术实现海量数据存储方案3. MySQL数据库：3.1）按照子服务业务垂直分库3.2）按照授权服务ID进行水平分表3.3）MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存）3.4）SQL语句优化，索引优化3.5）基于覆盖索引+子查询方案，解决limit分页查询慢问题4．ES接入 4.1）冷热分离方案，创建冷热索引，将最近6个月的检测操作记录存放在热索引中，其他数据同步存储到冷索引，提升查询检索效率 4.2）中文ki分词5. Redis缓存方案： 5.1）各检测引擎端服务，基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题。 5.2）中台API服务，使用Redis做为分布式锁，解决热点应用检测数据缓存失效导致的缓存击穿问题 5.3）中台API服务，使用Redis的bigmap 构建布隆过滤器，解决缓存穿透问题 5.4）Redis缓存病毒检测特征数据、源码检测特征数据等6．消息中间件： 6.1）基于Kafka消息，实现各检测服务检测进度和状态回调 6.2）基于Kafka消息，实现中台API服务的削峰填谷能力，保护服务安全 6.3）基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题 6.4）数据同步服务，基于Kafka消息队列技术，实现将检测任务记录表数据同步到ES，解决分表后运营平台查询检测记录慢，查询精度丢失等问题7．服务分流方案： 7.1）基于Nginx负载均衡技术，实现集群化服务，实现整体服务的流量分流方案，保护服务安全8．限流方案： 8.1）在Gateway网关处，集成Sentinel限流框架，实现整体服务入口流量限制方案，在业务服务处同时实现业务服务限流，双重保障，保护服务安全9．JVM性能调优： 9.1）利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息 9.2）JVM参数调用，解决OOM问题 9.3）合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数10．基于 Logstash+Logback+Elasticsearch+kibana ，实现日志采集和分析展示11.基于xxl-job实现检测能力引擎服务调度方案12.MongoDB调优，索引优化13. 基于DDD领域驱动开发模式编写核心引擎代码工作绩效：1.查看sql执行计划，优化索引，升sql查询效率，每条sql平均执行时间20ms，大数据量表sql执行时间不大于100ms2.MongoDB分布式集群部署，分片和副本集群，目前存储大约8亿条检测结果数据，约4TB数据。3.MongoDB优化，使用数据备份、恢复4.检测引擎服务接入xxl-job，每天实现100万+笔业务调度5.架构支撑公司内部大数据平台历史存量数据4000万+款app检测6.中台支撑腾讯应用宝应用渠道、小米应用渠道每天20万+应用检测（在同行业中，能达到这个量的就那么几家）7.支撑公司隐私合规部门、大数据部门的移动应用安全检测产品、个人隐私合规产品、移动安全全生命周期产品，移动安全大数据产品等相关产品检测能力8.平台可用性99.95%