1.基础功能：小程序端贷款申请（身份证OCR识别）、人脸识别、进度查询；管理端审批流程管理。​2.数据平台核心功能：①风控数据模块：对接第三方征信（芝麻信用/百行征信）、企业工商数据，通过风控算法模型（含还款能力评分/违约风险预测）自动生成风控报告，评分≥70分自动进入快速审批通道；②业务分析模块：

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

熟悉系统背景介绍和系统架构设计。Redis部署与启动及操作 创建Maven工程、pom.xml中添加相关依赖、添加Web模块 Kafka集群发送订单数据 Kafka消费数据 配置Jedis用来操作Redis数据库、Spark Streaming处理数据 测试系统是否能够正常工作 搭建Web开发环境、实现数据展示功能 Tomcat9.0安装及部署、可视化平台展示 自行实现商品销售TOP3的排行榜显示 修改GetDataService.java和index.jsp文件

1、方案面向数据开发人员，解决了海量数据分析统计，解决关系型数据库针对海量数据分析慢的问题 2、Kappa架构的大数据方案，实现流批一体；Lambda架构的大数据方案，离线和实时分离的数据仓库方案。 3、技术选型： （1）数据源‌ → ‌Kafka‌ → ‌Flink实时计算‌ → ‌Clickhouse → ‌API/BI展示 （2）数据源‌ → ‌Datax → ‌Hive/Spark SQL → ‌关系型数据库 → ‌API/BI展示

融合中台是中兴无线院和中兴数字产品中心联合开发的数据中台项目，该项目以数字产品中心的 原中台为基础，由无线院负责继续开发新的功能和维护使用。新中台命名为datastation。 DataStation是基于数据治理方法论内部实践的产品输出，一站式提供数据采、建、管、用全生命 周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经 济的企业级数据中台。DataStation提供多种计算平台支持及可拓展的开放能力，以适应不同行业 客户的平台技术架构和特定诉求。 主要面向数据服务和数据的高效一体化管理，使管理更加的模块化和具体化，目前对外的面向对象是，青岛轨交 scala+ZDH(Hadoop、HDFS、Hive、Spark、Kafka、Yarn、Flink)+ADMA（调度工具）+PostgreSql（数据库）

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

1.该产品是大数据数据中台，面向大数据开发、产品、运营、业务等人员； 2.该方案特点是风格美观，直观便捷，性能高效，功能稳定； 3.完善的RPAC权限系统，和企业微信SDK，skywalking全链路日志监控平台和前后端分离，服务端微服务架构。

车厂实时数据ETL，数据标准化，车辆充电, 放电, 静置切程，TPS为4000条/10s T+1离线数仓计算 基于实时ETL落盘的明细数据，重新切程。 应用pyspark，python，pandas进行电池分析 : 基于明细数据计算一致性压差预警 基于明细数据计算soc跳变预警 基于明细数据计算SOC虚高，SOC虚低 基于明细数据计算绝缘预警 实时热失控告警 车辆能耗分析 长期/短期自放电率分析

自建的大数据中台系统： 数据中台将通过大数据开发技术，将数据采集，数据清洗、数据存储、数据分析和数据呈现等流程打通，实现亿级数据进行高并发、秒级的分析处理，通过配置化预警指标和标准化的SQL语法，实现复杂的线上OLAP分析场景。 有中台源码，可以定制化开发 可以搭建对应的背后大数据服务：Hadoop、Flink、spark、hive、clickHouse、Flink cdc等，实现自运维

一、项目简介 随着企业业务的不断扩展，数据量的快速增长使得数据的处理、存储和分析面临前所未有的挑战。为了更好地利用这些海量数据，企业数据入湖项目应运而生。本项目旨在构建一个高效、可靠、可扩展的数据入湖平台，通过Hudi数据湖技术以及其他大数据组件，实现数据的实时采集、清洗、转换和存储，为企业提供一站式的数据解决方案。 二、项目模块与功能 本项目主要划分为以下几个模块，每个模块都具有特定的功能，以满足企业的不同需求。 数据采集模块：该模块负责从各种数据源（如数据库、API、文件等）中实时或批量采集数据，并将其传输到数据湖中。数据采集模块支持多种数据格式和数据源类型，确保数据的全面性和完整性。 数据清洗模块：在数据进入数据湖之前，该模块负责对原始数据进行清洗和去重，消除数据中的噪声和错误，提高数据质量。数据清洗模块能够自动识别和修复缺失值、异常值、重复值等问题，确保数据的准确性和一致性。 数据转换模块：清洗后的数据需要转换为适合存储和分析的格式。该模块支持多种数据转换方式，如数据压缩、加密、格式转换等，以满足不同的存储和分析需求。同时，该模块还支持数据的实时转换，确保数据的实时性和准确性。 数据存储模块：利用Hudi数据湖技术，该模块负责将转换后的数据高效、可靠地存储到数据湖中。Hudi提供了增量更新、版本控制、快照查询等功能，使得数据的存储和查询更加高效和灵活。 数据服务模块：该模块提供了一系列数据服务，如数据查询、数据分析、数据挖掘等，以满足企业不同部门的需求。通过数据服务模块，用户可以方便地获取所需数据，进行数据挖掘和分析，为企业的业务发展提供有力支持。 对使用者来说，这些模块提供了以下功能： 实时或批量地采集多源数据，实现数据的全面整合。 自动化地清洗和去重数据，提高数据质量。 灵活地进行数据转换，满足不同的存储和分析需求。 高效、可靠地存储数据到Hudi数据湖中，支持增量更新和快照查询。 提供丰富的数据服务，方便用户进行数据查询、分析和挖掘。 三、我负责的任务与技术栈 在项目中，我主要负责数据转换模块的开发和维护工作。为了高效地完成这一任务，我使用了以下技术栈： 编程语言：Java，因其强大的面向对象编程能力和跨平台性，非常适合构建大数据处理系统。 数据处理框架：Apache Flink，用于构建实时数据流处理应用，支持高吞吐量和低延迟的数据处理。 数据转换工具：Apache NiFi，提供了一套丰富的数据转换组件和可视化的配置界面，方便我们快速构建数据转换流程。 通过运用这些技术栈，我成功地实现了数据的高效转换和实时处理，确保了数据的准确性和实时性。 四、项目成果 通过本项目的实施，我们成功地构建了一个高效、可靠、可扩展的数据入湖平台。该平台利用Hudi数据湖技术和其他大数据组件，实现了数据的实时采集、清洗、转换和存储，为企业提供了一站式的数据解决方案。同时，我们还为用户提供了丰富的数据服务，方便用户进行数据查询、分析和挖掘。这些成果不仅提高了企业的数据处理能力，还为企业的业务发展提供了有力的支持。