ElasticSearch

海量数据处理：开发基于Kafka+Flink的实时数据处理链路，对关键指标进行秒级计算与监控。混合存储架构：根据业务场景，使用HDFS进行低成本存储，使用HBase存储海量设备数据，使用Elasticsearch实现PB级数据的毫秒级检索。系统性能调优：对核心接口进行重构和SQL优化，通过压力测试将

核心功能包含四大模块：一是数据集管理模块，支持多格式数据上传、标注、版本管控与批量处理；二是训练任务编排模块，基于K8s实现分布式训练任务调度与资源隔离；三是模型管理模块，完成模型训练、评估、版本归档与多来源模型接入；四是跨语言能力模块，通过Python微服务实现评估指标计算，打通“数据-训练-模型

1. 设计CQRS模型下OLAP+OLTP混合架构，拆分数据分析与数据提报子系统，满足科研数据高效分析与便捷提报双重需求；​2. 实现千万级科研数据清洗、加工与查询，支持微生物多样性、UMAP基因图、桑基图、热图等多类生物分析图形可视化；​3. 优化系统性能，解决页面加载缓慢、内存溢出（OOM）问题