Spark

1.项目具体功能模块（1）人脸识别与考勤模块：含人脸检测与跟踪（基于dlib，每10帧重检平衡性能）、人脸特征管理（导入图片提取特征并本地存储，支持覆盖同名人脸）、打卡考勤（识别注册人脸记录打卡，避免重复打卡，支持记录查询）子模块；（2）颜色检测模块：包含ROI区域控制（WASD移动、QE缩放）、颜

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱

登录注册：用户是系统操作者，该功能主要完成系统用户配置。智能分析（同步）：用户输入原始数据及分析诉求点击提交，同步调用大模型生成图表。智能分析（异步）：用户输入原始数据及分析诉求点击提交，采用自定义线程池方式执行任务。提高系统响应速度，优化用户体验。智能分析（MQ模式）：用户输入原始数据及分析诉求，

本软件面向以下几个用户群体： 1.安全监控行业： 监控人员可以使用该软件实时检测监控视频中的人员异常活动并报警，从而提高安全防范能力并且记录员工工作时长。 2.工业自动化： 在生产线或制造领域，工人可以使用这款软件进行产品质量检测，实时识别缺陷和不合格品，从而减少人工检查的时间和成本。 3.游戏开发者： 游戏开发者可以跟踪玩家的行为或动作，实时分析玩家交互，优化游戏体验。 解决的问题： 1.传统实时检测需要大量内存的问题，通过循环内存和生成器技术，大大减少了AI识别的占用，小设备，监控上部署即可流畅使用。 2.可设置检测帧率和画面位置，截取固定范围内，并开始实时监测，大大提高运行速度和精准率 3.简化用户操作：用户只需运行该软件并选择要检测的目标类型，即可直接获取实时结果，降低了复杂的操作流程。 4.实时反馈与可视化：该软件将检测结果以图形化的方式呈现，用户可以直观地观察目标检测的效果，进一步优化决策过程。

本方案面向某汽车咨询垂直领域，解决了该用户宣传、新媒体制作等环节。可使得该公司在快速生成汽车图片时，降本增效，而且适配我开发的快速微调平台，可以快速扩展至其他车型。 相较于其他种类的微调，本微调创新性的使用了创新方法，使得生成的图片在倒影、光面、山海湖泊等场景中完美复现想要的效果。还可以自己进行参数修改，局部重绘等功能。

AI职通车是集成浏览器自动化与AI大模型技术的智能求职工具，通过集中管理职位搜索、智能沟通、简历投递全流程，帮助求职者实现大规模、精准高效的岗位匹配。特别适合希望提升求职效率的大学生等等群体。 核心功能包含： 1、批量搜索职位 • 系统根据简历关键词+求职期望批量自动筛选岗位 • 实时展示匹配度评分（共1-10分，5分+职位优先推荐） 2、和Boss智能沟通 • 自动生成个性化开场白 • 智能应答BOSS提问（基于岗位JD优化回复） 3、一键投递简历 • 批量投递简历 4、一键交换微信 • 批量互换微信

项目描述：某外企内部AI智能监控系统无法访问，需要在redhat linux上重装此系统，厂家Vaidio不提供技术支持且厂家安装包只支持ubuntu系统。 主要职责：对厂家Vaidio安装包进行逆向分析，独立制作基于redhat linux的安装包，成功在客户服务器上完成安装。 项目成果：成功在客户服务器上安装AI智能监控系统，恢复原始监控数据，为客户节省成本3万元。

从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据，日0.7tb。polars清洗入数据仓库HDFS ods，spark定期计算mds/sds数据存储Hive，Azkaban管理同步任务&计算任务，redash展示灵活透视表。 简单的ARMA预测模型预测业务未来走势，图表输出。推荐模型构建业务主特征，提高转化率和效率，指导销售工作。

面向制造业，轻量级一体化平台，IOT\WMS\MES\EAM\EMS。本产品是一款集成化的智能制造管理平台，旨在全面提升企业生产效率与质量控制。 通过实时看板，您可以即时掌握产品合格率、设备稼动率(OEE)及任务进度。设备管理模块支持设备台账、状态监控、OEE与MTBF/MTTR分析及告警。数据管理整合人工与物联数据，为决策提供支持。指标管理助力KPI设定与追踪。SPC管理提供X-bar R等多种控制图，强化质量过程控制。任务管理则覆盖从分配、跟踪到优化的全流程，并对延期与返工进行分析。 本平台助您实现生产透明化、决策数据化，有效降低成本、提升质量。

随着人脸识别技术在智能安防、金融支付等隐私敏感场景的大规模部署，传统集中式训练模式导致的用户数据泄露风险成为技术发展的主要瓶颈。本文提出一种基于联邦学习与差分隐私的混合架构人脸识别系统。通过构建支持非独立同分布（Non-IID）数据的联邦学习框架，结合动态隐私预算管理策略，在保护用户数据隐私的同时提升模型泛化能力。实验结果表明，在 Olivetti 人脸数据集上，系统在 ε=1.0 的隐私预算下达到 92.3% 的准确率，较传统联邦学习方法提升 4.7%，验证了隐私保护与模型性能的高效平衡。

1、方案面向数据开发人员，解决了海量数据分析统计，解决关系型数据库针对海量数据分析慢的问题 2、Kappa架构的大数据方案，实现流批一体；Lambda架构的大数据方案，离线和实时分离的数据仓库方案。 3、技术选型： （1）数据源‌ → ‌Kafka‌ → ‌Flink实时计算‌ → ‌Clickhouse → ‌API/BI展示 （2）数据源‌ → ‌Datax → ‌Hive/Spark SQL → ‌关系型数据库 → ‌API/BI展示

1、完成国外某大型人力资源管理系统开发。 2、每周同美国客户在线沟通需求并汇报项目进度，分析客户需求，提供架构设计文档并交架构师审核，主持每日例会并向 PM汇报项目进度。 3、根据任务优先级每两周提供项目计划，创建子任务，同小组成员沟通需求和技术实现细节，配合QA完成对Story的验收 并反馈问题，保障客户需求高质量交付。 4、快速解决线上紧急问题，并提高系统性能和稳定性，赢得客户信任。

1. 构建多种元素结合能数据集，支持高精度模型训练。 2. 通过数据清洗与预处理优化数据集，确保模型分析的可靠性。 3. 基于决策树、随机森林及深度学习模型分析X射线光电子能谱（XPS）数据。 4. 大语言模型提取文献中的最新数据补充数据库。

屠宰厂生猪的收货管理里，数量是一个非常重要的管理指标，因为数量错误会严重的影响企业利润，尤其是人为作弊的情况下。 传统的人工点数，人工记录或者输入电脑的方式，都存在点数效率低（点2-3次还不一定能点准），劳动强度大，如果有人为因素就必然会出错的弊端； 基于ai（人工智能）和视觉技术的点猪系统，通过摄像头拍摄卸猪的过程，自动对生猪进行计数。

基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。

1.本方案是对政府公共安全领域，主要用于对案件侦办布控预警 2.用到的技术：Springcloud微服务，Vue、Nginx、kafka、ZooKeeper、ElasticSearch、Redis、Flume、Hadoop、Spark，数据库MySQL，CarbonData，MongoDB

传统的量化投资，使用技术指标比如均值，MACD，RSI,KDJ等以及它们的线性变种来产生信号。 有几个缺点： - 1、多为线性的， - 2、参数设置全凭经验，没有调优过程， - 3、规则偏静态的，无法适应跟进市场变化而自主进化。 我们的目标，是把前沿人工智能技术，包括大模型，机器学习，深度学习，深度强化学习，知识图谱，时间序列分析等技术应用于金融大数据挖掘， 更好的赋能量化投资。

技术栈：SparkSQL，Hive，Flinkx，ClickHouse，海豚调度，数仓维度建模，Kafka，PolarDB 数据化服务平台提供了各种业务数据的分析与展示，便捷地获取完整、准确、丰富的数据分析结果，支撑业务精准和快速决策。但由于1.0版本的数据存储与计算完全基于Mysql，导致数据计算过慢，历史数据无法获取，对于一些复杂指标的统计无法直接通过Mysql中现有数据直接计算得到。所以数据化服务平台中需要一种新的存储及计算方式。2.0版本使用数据仓库进行改造，并结合大数据能力进行存储与计算，彻底解决了1.0版本中存在的性能瓶颈与功能缺失。 我在项目中的职责： 1.设计数据化服务平台2.0整体功能架构； 2.数据仓库主题划分、各层模型设计与创建(ods,dwd,dws,ads)； 3.Flinkx部分同步任务编写； 4.数据仓库核心数据加工任务开发； 5.海豚调度配置整体任务流程；

为满足高时效性海量数据的多维聚合处理，使用doris+流式计算框架配合搭建索引构建系统。 整个系统按实时数仓和数据现状分为dwd、dws和app三层，整体均使用flink引擎进行驱动运行。作为架构师和核心开发人员，负责系统的整体架构、dws层聚合操作开发和code review。系统成功上线并满足业务需求，日均业务处理量120亿+，整体数据量5亿+，时效性在5分钟以内，支持10w+数据秒级聚合，支持局部数据校准以及天级的全量数据校准。

一、项目简介 随着企业业务的不断扩展，数据量的快速增长使得数据的处理、存储和分析面临前所未有的挑战。为了更好地利用这些海量数据，企业数据入湖项目应运而生。本项目旨在构建一个高效、可靠、可扩展的数据入湖平台，通过Hudi数据湖技术以及其他大数据组件，实现数据的实时采集、清洗、转换和存储，为企业提供一站式的数据解决方案。 二、项目模块与功能 本项目主要划分为以下几个模块，每个模块都具有特定的功能，以满足企业的不同需求。 数据采集模块：该模块负责从各种数据源（如数据库、API、文件等）中实时或批量采集数据，并将其传输到数据湖中。数据采集模块支持多种数据格式和数据源类型，确保数据的全面性和完整性。 数据清洗模块：在数据进入数据湖之前，该模块负责对原始数据进行清洗和去重，消除数据中的噪声和错误，提高数据质量。数据清洗模块能够自动识别和修复缺失值、异常值、重复值等问题，确保数据的准确性和一致性。 数据转换模块：清洗后的数据需要转换为适合存储和分析的格式。该模块支持多种数据转换方式，如数据压缩、加密、格式转换等，以满足不同的存储和分析需求。同时，该模块还支持数据的实时转换，确保数据的实时性和准确性。 数据存储模块：利用Hudi数据湖技术，该模块负责将转换后的数据高效、可靠地存储到数据湖中。Hudi提供了增量更新、版本控制、快照查询等功能，使得数据的存储和查询更加高效和灵活。 数据服务模块：该模块提供了一系列数据服务，如数据查询、数据分析、数据挖掘等，以满足企业不同部门的需求。通过数据服务模块，用户可以方便地获取所需数据，进行数据挖掘和分析，为企业的业务发展提供有力支持。 对使用者来说，这些模块提供了以下功能： 实时或批量地采集多源数据，实现数据的全面整合。 自动化地清洗和去重数据，提高数据质量。 灵活地进行数据转换，满足不同的存储和分析需求。 高效、可靠地存储数据到Hudi数据湖中，支持增量更新和快照查询。 提供丰富的数据服务，方便用户进行数据查询、分析和挖掘。 三、我负责的任务与技术栈 在项目中，我主要负责数据转换模块的开发和维护工作。为了高效地完成这一任务，我使用了以下技术栈： 编程语言：Java，因其强大的面向对象编程能力和跨平台性，非常适合构建大数据处理系统。 数据处理框架：Apache Flink，用于构建实时数据流处理应用，支持高吞吐量和低延迟的数据处理。 数据转换工具：Apache NiFi，提供了一套丰富的数据转换组件和可视化的配置界面，方便我们快速构建数据转换流程。 通过运用这些技术栈，我成功地实现了数据的高效转换和实时处理，确保了数据的准确性和实时性。 四、项目成果 通过本项目的实施，我们成功地构建了一个高效、可靠、可扩展的数据入湖平台。该平台利用Hudi数据湖技术和其他大数据组件，实现了数据的实时采集、清洗、转换和存储，为企业提供了一站式的数据解决方案。同时，我们还为用户提供了丰富的数据服务，方便用户进行数据查询、分析和挖掘。这些成果不仅提高了企业的数据处理能力，还为企业的业务发展提供了有力的支持。