HDFS

1.支持多数据源（MySQL/Redis/对象存储）到数据仓库的实时/离线同步，兼容全量、增量、CDC等多种同步模式；2.提供可视化任务配置、监控告警、失败重试与自动灾备能力；3.内置流量削峰、限速保护与数据校验机制，保障每日PB级数据流的高效、稳定传输；4.支持同步任务的资源隔离与弹性扩缩容，降低

该项目建设分为四大平台：数据治理服务平台、数据挖掘分析平台、算法模型平台、实战应用平台。数据治理服务平台提供了数据集成、数据预处理、数据质量检测等功能；数据挖掘分析平台提供了分布式存储、流式计算、图计算等功能；算法模型平台提供了伴随分析、碰撞分析、套牌分析等算法模型；上层应用平台提供了知识图谱、智能

负责蛋白质多模态大模型评测框架EvalKit的设计与开发，构建面向蛋白质结构、功能与序列的自动化评测基准。实现模型效果对比、指标计算、实验复现与可视化分析，支撑大模型在蛋白质结构预测、功能标注、靶点挖掘等生物医学场景的迭代优化，提升模型评测效率与科研落地能力。

负责蛋白质多模态大模型评测框架EvalKit的设计与开发，构建面向蛋白质结构、功能与序列的自动化评测基准。实现模型效果对比、指标计算、实验复现与可视化分析，支撑大模型在蛋白质结构预测、功能标注、靶点挖掘等生物医学场景的迭代优化，提升模型评测效率与科研落地能力。

此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽式开发的方式，满足数据开发测试、调度配置、元数

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对离岸客户进行安全风险评估，以评估离岸客户有哪些安全风险，并提供风险预警

项目基于Hadoop、Spark、Hive等开源大数据组件，针对农业大数据处理需求，构建分布式大数据计算平台，实现农业大数据存储与高效计算。系统首先运用网络爬虫定时抓取网站数据，完成数据获取。随后，对采集数据进行预处理，确保数据质量。依托Hadoop平台，将预处理后的数据上传至HDFS（Hadoop

1、设计多源数据整合方案，搭建标准化数据资源池，支撑9万+服务企业数据统一管理；2、主导数据模型全链路开发（ODS/DWD/DWS/ADS分层），设计场景标签与维度模型，优化查询性能，保障模型合理高效；3、参与集团数据治理体系搭建，负责数据质量校验脚本开发，协助搭建元数据平台实现资产可视化；4、负责

该系统围绕医院“诊前-诊中-诊后”全流程设计，包含7大核心功能模块：1.门诊管理：支持线上线下挂号、分诊叫号、医生开方（关联药品/检查项库）、处方审核，实时同步患者就诊进度；2.住院管理：覆盖入院登记、床位分配、医嘱执行、费用记账，可批量导出住院清单，自动预警超期住院；3.药品管理：实现药品入库/出

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.多维度查询企业画像应用目前支持17个维度的企业信息查询，涵盖了工商、税务、进出口、电力、社保、融资等信息。2.图数据库的应用1）关系图谱关系图谱是利用图数据作为数据依据，以关系图作为可视化的展示效果，展示企业与企业、企业与自然人、自然人与自然人之间的关系，绘制成庞大的关系网络，形成企业群组，并在

1、功能模块：接入量子随机数发生器；随机数分布存储与管理；密钥额度、使用记录与用户管理；密钥安全分发服务；密钥分发协议；密钥分发SDK2、主要功能：把量子随机数发生器产生的密钥依据用户的使用情况源源不断的安全的分发使用端

大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。

1 、本项目旨在设计一套数据质量报告开发方案 ，通过构建数据质量评估体系 ，实现对数据质量的全面监控和报告 ，以帮助企业识 别数据问题 ，优化数据管理 ，提升数据价值 ， 因此需要一套数据监控管理平台统一归档各系统来源数据 ，进行数据标准化监管 ，并 对外分发合格数据。 2 、项目使用hadoop 、hive 、spark 、datax 、dolphinscheduler 、S3 建设 3 、根据用户制定的质量规则 ，进行数仓开发 ，满足用户需求

通过flume和sqoop数据采集工具，采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表，建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据，dwd层对数据进行一些预处理，dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计，例如新增用户统计，用户流失统计，操作系统活跃性，商品指标信息 的相关指标。

1、 协助完成《指标口径文档详情文档》的探查工作，存贷款部分包括协定存款、通知存款、一般定期、大额存款、结构性存款、协议存款、白名单存款、白领通、普惠贷款等等，探查范围包括业务种类，数据标准，业务口径等等，探查指标类型有衍生指标、新建指标、存量指标。 2、 独立完成存、贷款ODS取数逻辑（其中包括机构拆分），有对公定期存款、对公活期存款、个人定期存款、个人活期存款、对公结算存款、应解汇款及临时存款、开出汇票本票，对公账户贷款、个人账户贷款、信用卡贷款、贴现业务等等12个业务场景及表结构设计。 3、 协助前端指标配置及测试工作。