HDFS

1.数据采集与管理：支持订单、商品、用户、交易等业务数据的批量导入、数据校验、清洗去重及统一管理，提升数据质量。2.分布式数据存储：基于HDFS构建数据存储体系，实现电商业务数据的集中管理、分类存储及历史数据归档。3.订单交易分析：支持订单数量、交易金额、客单价、支付转化率等核心经营指标的统计分析，

1.Kubernetes集群搭建：使用kubeadm初始化单节点Kubernetes集群，配置APIServer、Pod网络地址段及基础集群参数。2.容器运行时管理：安装和配置containerd，完成容器镜像查询、镜像管理及容器运行环境验证。3.Pod网络配置：部署FlannelCNI网络插件，实

1，构建中建八局数据仓库，ods--->ads层。2，构建指标体系，构建BI看板。3，数据治理，将数据转换成生产要素，为决策提供支持，为员工提高效率。4，维护系统平稳运行。

评分点自动裁缝，素材自动清洗，提交自动定时，招标文件自动拆解，评分点自动生成，应答漏达强制提醒。根据投标方本身的特点、数据基础和历史案例，自动根据当前项目自动匹配匹配度，自动生成问答拆解招标文件，补充行业禁品方案

本项目搭建Hadoop分布式存储环境，搭配Spark框架实现离线文本词频统计。原始文本文件上传至HDFS分布式文件系统，使用PySpark编写业务逻辑，完成文本分割、单词提取、分组聚合，最终输出词频排序结果，并将统计结果回写保存至分布式存储。项目完整复现“分布式存储+离线计算”经典大数据架构。在实操

平台侧（Java/SpringBoot微服务）：项⽬管理、任务管理（FlinkSQL/FlinkJar双模式）、环境管理、版本与审批流、任务参数配置、UDF与Connector管理、⾎缘与⽇志、多环境发布、监控⼤盘、⽤户权限。执⾏侧plinker：作为多版本Flink集群的代理服务，向上屏蔽集群版本

本项目旨在加速国家开发银行金融租赁有限公司的数字化转型，通过实施大数据迭代开发策略，依托先进的数据平台运营机制，在数据资产管理、数据源无缝切换及外部数据集成等关键领域达成阶段性成就。此举有效缓解了数据收集与处理的繁重任务，显著降低了数据报送复杂性与资产管理难度。

1.三大核心业务模块客户之声（VOC）：关联市场端售后反馈与研发端试验数据，直观展示用户真实痛点与试验验证的匹配度，确保研发方向贴近市场需求。全球试验基地（核心模块）：通过3D地理信息地图，精准定位并展示吐鲁番、黑河、三亚、广饶等基地。实时呈现各场地温度、湿度、风速、光照等环境数据，并动态刷新车辆当

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

持续迭代优化数据仓库架构，标准化分层建模与公共中间层口径，大幅提升模型、脚本复用效率，同步清理冗余冷数据、精简重复存储，有效缩减存储资源占用；深度梳理全链路SQL执行逻辑，剔除低效关联、冗余计算与全表扫描语句，优化索引与分区策略，显著降低离线、实时任务的算力与内存资源消耗，整体提升数据调度运行效率。

按功能域（基础域/活动域/资源域/来源域/IM域）分层进行数据采集与清洗在报表中，我们开发十大屏，其中包括p/uv,用户活跃，家校共育，im模块统计等来查看平台运行状况

按功能域（基础域/活动域/资源域/来源域/IM域）分层进行数据采集与清洗在报表中，我们开发十大屏，其中包括p/uv,用户活跃，家校共育，im模块统计等来查看平台运行状况

该项目是对国家信通院进行封装的疫情期间行程查询类api，信通院的通信行程卡是面对社会全面开放的，用户可以根据不同运营商查询各自的行动轨迹，请求量巨大，单日可达2000w次。对于程序的稳定性可靠性有着相当大的要求。

1.支持多数据源（MySQL/Redis/对象存储）到数据仓库的实时/离线同步，兼容全量、增量、CDC等多种同步模式；2.提供可视化任务配置、监控告警、失败重试与自动灾备能力；3.内置流量削峰、限速保护与数据校验机制，保障每日PB级数据流的高效、稳定传输；4.支持同步任务的资源隔离与弹性扩缩容，降低

该项目建设分为四大平台：数据治理服务平台、数据挖掘分析平台、算法模型平台、实战应用平台。数据治理服务平台提供了数据集成、数据预处理、数据质量检测等功能；数据挖掘分析平台提供了分布式存储、流式计算、图计算等功能；算法模型平台提供了伴随分析、碰撞分析、套牌分析等算法模型；上层应用平台提供了知识图谱、智能

负责蛋白质多模态大模型评测框架EvalKit的设计与开发，构建面向蛋白质结构、功能与序列的自动化评测基准。实现模型效果对比、指标计算、实验复现与可视化分析，支撑大模型在蛋白质结构预测、功能标注、靶点挖掘等生物医学场景的迭代优化，提升模型评测效率与科研落地能力。

负责蛋白质多模态大模型评测框架EvalKit的设计与开发，构建面向蛋白质结构、功能与序列的自动化评测基准。实现模型效果对比、指标计算、实验复现与可视化分析，支撑大模型在蛋白质结构预测、功能标注、靶点挖掘等生物医学场景的迭代优化，提升模型评测效率与科研落地能力。

此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽式开发的方式，满足数据开发测试、调度配置、元数

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对离岸客户进行安全风险评估，以评估离岸客户有哪些安全风险，并提供风险预警

项目基于Hadoop、Spark、Hive等开源大数据组件，针对农业大数据处理需求，构建分布式大数据计算平台，实现农业大数据存储与高效计算。系统首先运用网络爬虫定时抓取网站数据，完成数据获取。随后，对采集数据进行预处理，确保数据质量。依托Hadoop平台，将预处理后的数据上传至HDFS（Hadoop