Scala

基于Python开发的招聘数据采集与可视化分析系统，通过网络爬虫技术采集招聘网站公开岗位信息，包括岗位名称、薪资水平、工作地点、学历要求等数据，并完成数据清洗、统计分析和可视化展示，为求职者和企业提供数据参考。

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽式开发的方式，满足数据开发测试、调度配置、元数

移动反诈功能主要涵盖智能预警、家人守护、保险补偿与技术反制四大核心维度，具体功能分点介绍如下：智能识别与预警：基于AI、大数据及大模型技术，系统能实时监测并识别诈骗电话和短信。当用户接到疑似诈骗电话时，会通过霸屏提醒、语音警示或闪信等方式进行强干预预警，提醒用户注意防范。亲情联防与远程守护：针对老人

功能模块：自然语言意图识别模块、表单字段映射引擎、数据自动填充与校验模块、API提交与状态反馈模块。主要功能：用户通过对话描述需求，系统自动解析关键信息并匹配对应表单字段，完成一键生成、填充、提交，并支持修改与状态跟踪。

1.多维度查询企业画像应用目前支持17个维度的企业信息查询，涵盖了工商、税务、进出口、电力、社保、融资等信息。2.图数据库的应用1）关系图谱关系图谱是利用图数据作为数据依据，以关系图作为可视化的展示效果，展示企业与企业、企业与自然人、自然人与自然人之间的关系，绘制成庞大的关系网络，形成企业群组，并在

1.基础功能：小程序端贷款申请（身份证OCR识别）、人脸识别、进度查询；管理端审批流程管理。​2.数据平台核心功能：①风控数据模块：对接第三方征信（芝麻信用/百行征信）、企业工商数据，通过风控算法模型（含还款能力评分/违约风险预测）自动生成风控报告，评分≥70分自动进入快速审批通道；②业务分析模块：

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

熟悉系统背景介绍和系统架构设计。Redis部署与启动及操作 创建Maven工程、pom.xml中添加相关依赖、添加Web模块 Kafka集群发送订单数据 Kafka消费数据 配置Jedis用来操作Redis数据库、Spark Streaming处理数据 测试系统是否能够正常工作 搭建Web开发环境、实现数据展示功能 Tomcat9.0安装及部署、可视化平台展示 自行实现商品销售TOP3的排行榜显示 修改GetDataService.java和index.jsp文件

1、方案面向数据开发人员，解决了海量数据分析统计，解决关系型数据库针对海量数据分析慢的问题 2、Kappa架构的大数据方案，实现流批一体；Lambda架构的大数据方案，离线和实时分离的数据仓库方案。 3、技术选型： （1）数据源‌ → ‌Kafka‌ → ‌Flink实时计算‌ → ‌Clickhouse → ‌API/BI展示 （2）数据源‌ → ‌Datax → ‌Hive/Spark SQL → ‌关系型数据库 → ‌API/BI展示

融合中台是中兴无线院和中兴数字产品中心联合开发的数据中台项目，该项目以数字产品中心的 原中台为基础，由无线院负责继续开发新的功能和维护使用。新中台命名为datastation。 DataStation是基于数据治理方法论内部实践的产品输出，一站式提供数据采、建、管、用全生命 周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经 济的企业级数据中台。DataStation提供多种计算平台支持及可拓展的开放能力，以适应不同行业 客户的平台技术架构和特定诉求。 主要面向数据服务和数据的高效一体化管理，使管理更加的模块化和具体化，目前对外的面向对象是，青岛轨交 scala+ZDH(Hadoop、HDFS、Hive、Spark、Kafka、Yarn、Flink)+ADMA（调度工具）+PostgreSql（数据库）

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

1.该产品是大数据数据中台，面向大数据开发、产品、运营、业务等人员； 2.该方案特点是风格美观，直观便捷，性能高效，功能稳定； 3.完善的RPAC权限系统，和企业微信SDK，skywalking全链路日志监控平台和前后端分离，服务端微服务架构。

车厂实时数据ETL，数据标准化，车辆充电, 放电, 静置切程，TPS为4000条/10s T+1离线数仓计算 基于实时ETL落盘的明细数据，重新切程。 应用pyspark，python，pandas进行电池分析 : 基于明细数据计算一致性压差预警 基于明细数据计算soc跳变预警 基于明细数据计算SOC虚高，SOC虚低 基于明细数据计算绝缘预警 实时热失控告警 车辆能耗分析 长期/短期自放电率分析

自建的大数据中台系统： 数据中台将通过大数据开发技术，将数据采集，数据清洗、数据存储、数据分析和数据呈现等流程打通，实现亿级数据进行高并发、秒级的分析处理，通过配置化预警指标和标准化的SQL语法，实现复杂的线上OLAP分析场景。 有中台源码，可以定制化开发 可以搭建对应的背后大数据服务：Hadoop、Flink、spark、hive、clickHouse、Flink cdc等，实现自运维

一、项目简介 随着企业业务的不断扩展，数据量的快速增长使得数据的处理、存储和分析面临前所未有的挑战。为了更好地利用这些海量数据，企业数据入湖项目应运而生。本项目旨在构建一个高效、可靠、可扩展的数据入湖平台，通过Hudi数据湖技术以及其他大数据组件，实现数据的实时采集、清洗、转换和存储，为企业提供一站式的数据解决方案。 二、项目模块与功能 本项目主要划分为以下几个模块，每个模块都具有特定的功能，以满足企业的不同需求。 数据采集模块：该模块负责从各种数据源（如数据库、API、文件等）中实时或批量采集数据，并将其传输到数据湖中。数据采集模块支持多种数据格式和数据源类型，确保数据的全面性和完整性。 数据清洗模块：在数据进入数据湖之前，该模块负责对原始数据进行清洗和去重，消除数据中的噪声和错误，提高数据质量。数据清洗模块能够自动识别和修复缺失值、异常值、重复值等问题，确保数据的准确性和一致性。 数据转换模块：清洗后的数据需要转换为适合存储和分析的格式。该模块支持多种数据转换方式，如数据压缩、加密、格式转换等，以满足不同的存储和分析需求。同时，该模块还支持数据的实时转换，确保数据的实时性和准确性。 数据存储模块：利用Hudi数据湖技术，该模块负责将转换后的数据高效、可靠地存储到数据湖中。Hudi提供了增量更新、版本控制、快照查询等功能，使得数据的存储和查询更加高效和灵活。 数据服务模块：该模块提供了一系列数据服务，如数据查询、数据分析、数据挖掘等，以满足企业不同部门的需求。通过数据服务模块，用户可以方便地获取所需数据，进行数据挖掘和分析，为企业的业务发展提供有力支持。 对使用者来说，这些模块提供了以下功能： 实时或批量地采集多源数据，实现数据的全面整合。 自动化地清洗和去重数据，提高数据质量。 灵活地进行数据转换，满足不同的存储和分析需求。 高效、可靠地存储数据到Hudi数据湖中，支持增量更新和快照查询。 提供丰富的数据服务，方便用户进行数据查询、分析和挖掘。 三、我负责的任务与技术栈 在项目中，我主要负责数据转换模块的开发和维护工作。为了高效地完成这一任务，我使用了以下技术栈： 编程语言：Java，因其强大的面向对象编程能力和跨平台性，非常适合构建大数据处理系统。 数据处理框架：Apache Flink，用于构建实时数据流处理应用，支持高吞吐量和低延迟的数据处理。 数据转换工具：Apache NiFi，提供了一套丰富的数据转换组件和可视化的配置界面，方便我们快速构建数据转换流程。 通过运用这些技术栈，我成功地实现了数据的高效转换和实时处理，确保了数据的准确性和实时性。 四、项目成果 通过本项目的实施，我们成功地构建了一个高效、可靠、可扩展的数据入湖平台。该平台利用Hudi数据湖技术和其他大数据组件，实现了数据的实时采集、清洗、转换和存储，为企业提供了一站式的数据解决方案。同时，我们还为用户提供了丰富的数据服务，方便用户进行数据查询、分析和挖掘。这些成果不仅提高了企业的数据处理能力，还为企业的业务发展提供了有力的支持。

一、项目模块与功能 本电商推荐系统项目主要划分为以下几个模块，每个模块都承载着特定的功能，旨在为用户提供个性化的购物体验。 数据收集与处理模块： 功能：负责收集用户的浏览、购买、评价等行为数据，以及商品的基础信息。 对使用者来说：用户无需直接操作此模块，但其收集的数据是后续推荐算法的基础。 用户画像构建模块： 功能：根据收集到的用户数据，构建用户画像，包括用户的兴趣、偏好、购买习惯等。 对使用者来说：用户画像的构建使得推荐结果更加符合个人喜好，提升购物体验。 推荐算法模块： 功能：运用协同过滤、深度学习等算法，基于用户画像和商品信息生成推荐列表。 对使用者来说：用户可以在首页或商品详情页看到系统为其推荐的商品。 实时更新模块： 功能：实时收集和处理用户行为数据，确保推荐结果的实时性和准确性。 对使用者来说：用户可以随时感受到推荐结果的变化，看到最新的、符合自己喜好的商品。 前端展示模块： 功能：为用户提供美观、易用的界面，展示推荐商品、商品详情等信息。 对使用者来说：用户可以通过该模块方便地浏览商品、查看商品详情、进行购买等操作。 二、我的任务与技术栈 在我负责的部分中，我主要负责了推荐算法模块和实时更新模块的开发与优化。 技术栈： 推荐算法模块：我使用了Python编程语言，并结合了Pandas、NumPy等数据处理库，以及scikit-learn、TensorFlow等机器学习库来实现协同过滤和深度学习算法。 实时更新模块：我采用了Apache Flink作为实时计算框架，确保能够实时处理用户行为数据并更新推荐结果。 成果： 我成功实现了基于协同过滤和深度学习的推荐算法，并通过A/B测试验证了其效果，显著提高了用户的点击率和转化率。 我构建了实时更新模块，确保推荐结果能够实时反映用户行为的变化，进一步提升了用户体验。 三、总结 通过本电商推荐系统项目的实施，我们成功为用户提供了个性化的商品推荐服务，显著提升了用户的购物体验和满意度。在我负责的推荐算法和实时更新模块中，我运用了先进的技术栈，并通过不断的优化和改进，实现了良好的推荐效果和实时性。这些成果不仅为用户带来了更好的购物体验，也为企业的业务增长和竞争力提升做出了贡献。

支撑日活9000W+用户短信的稳定，保证服务可用性达99.9%。 负责富媒体短信和智能短信商业化需求的开发交付及后期的维护。 负责短信审核后台、代理商管理后台需求的开发交付。

1.大气环境数据进行多维度采集。 2.采集数据存储分析,大模型预测。 3.多维度展示数据，对接其他业务平台，。 4.管理大量的数据资产

1.对水质，空气，尾气，走航车，等多种数据源的采集。 2.采集数据存储分析，aqi，空气质量预测，沙尘天预测。 3.数据资产管理，分析。