数据处理

通过统一报账产品综合解决方案落地，完成对全集团员工发票管理、付款计划、预提报账、付款单、自动入账及资金预测等资金支付全流程智能化闭环管理。实现财人员对公凭证全自动化，优先解决财务一半手工凭证。我的职责： 1.参与业务需求沟通和系统设计, 提供功能实现方案。 2.对公付款发票系统的设计和实现，完成发票的异步采集查验等以及旧发票系统的数据迁移。 3.完成对公付款系统预提单模块 和 个人劳务模块的业务功能。 4.凭证系统的技术方案的制定，实现凭证系统的可配置化。 通过对公付款制作凭证, 在管理后台配置凭证公式,解析公式, 对接了公司其他业务线, 并完成制作凭证, 解决了公司许多平台制作凭证的能力;

介绍： 污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。 1.【项目模块】： 1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等 2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产 3）数据分析模块：对整理的数据进行分析，展示 2.【我的职责】： 1）负责整个数据存储，数据分析平台的搭建 2）动态活动水平库技术架构 3）数据接入、数据清洗的负责人 3.痛点难点： 1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模

项目包含了小程序,管理后台;前端从0到1;小程序采用原生小程序开发;后台采用vue3技术栈;包括项目的搭建,发布打包,小程序上线等前端事务

1.整个小程序和app开发，使用的是uniapp和vue2的语法技术，有个人认证，企业认证，乘车码，企业大学堂，设备管理，企业服务，人才服务，便捷服务等模块

简介: 仓储 WMS 物流是是一款标准化智能化过程导向的仓储物流软件,通过多年仓库管理方 法的沉淀，帮助客户快速的仓库的的问题，标准化工厂，以及通过 PDA 进行扫箱退箱的快速的解决退 货，出库、发货的问题。 主要模块: PDA 扫箱、仓库组织、供应商主数据、物料主数据、ASN 到货计划、成品入库、销售 退货入库、生产报废入库、生产订单退货入库、物料安全库预警邮件推送、不良品出库、良品出库、 物流报废等。 开发技术:Spring boot、nacos,、MybatisPuls、Mybatis、Docker、Redis、GUC、Kafka、了解 xxl-job 系统架构简述：本系统为吉利集团 ERP 项目中的一个服务，采用 springboot 并且引入微服务的 中间件，由主数据服务，仓储服务，告警监控服务组成。采用 openfeign 调用，KAFKA 做服务交互， 并且采用 nacos 作为注册中心。并且引入 redis 做缓存和分布式锁。 项目职责： 1. 负责参与整体项目的表结构设计，接口设计和开发工作。并且集成 openfeign nacos redis 等框架中间件。

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

1.项目分为运维概况，资源管理，监控告警，工单处理，安全审计，运维工具，权限控制，知识库等等模块，对使用者来说实现了服务器、应用的各个指标的监控比如CPU、磁盘、内存的使用情况 2.项目使用了springcloud微服务的方式来开发，使用的技术栈是springboot、mybatis-plus、es、redis等等。我负责告警功能，Prometheus监控工具的开发，集成到项目中，对各个服务器、应用的监控，收集数据进行展示。 3.难点：Prometheus是新技术，耗费了2个星期学习时间，达到掌握的程度，在使用的过程中慢慢精通这一项技术

- 主导构建离线数仓，汇集业务联机数据库和终端用户行为日志数据，实际数据过滤、治理、解析、集成、入库。 - 划分主题建设，为公司提供多种报表统计结果和业务系统技术支持。 - 提高数据处理性能，解决数据漂移延迟，实施数据脱敏和解析参数表的构建。 - 设计并维护多层次数仓结构，包括ODS、DIM、DWD、DWS和ADS层，优化数据仓库查询性能。 项目架构：Hadoop + Hdfs+Zookeeper + Mysql + Hive+clinkhouse+ElasticSearch +Azkaban+dataX+Spark+shull 项目流程： 数据采集： - 使用dataX从业务库同步全量和增量数据。 - 使用flume搭建数据传输网络。 数据分层设计： ODS层：存储未处理的源数据，保持一致性和追溯性。 DIM层：存储各种维度表，例如药品主数据、地区、生产单位、运力_站点等。 DWD层：清晰、规范化数据、采用维度建模理论。 DWS层：按主题轻度聚合数据，例如单位物资日聚合表，仓库自然月集合表，省市区储备表等。 ADS层：存放重要指标的结果数据，提供数据产品和服务。 报表开发：

1、《城市管家数据管理系统》项目需求分析和设计文档中，包含10大模块,分别是：企业管理，工地、空地管理，物业管理，防疫管理，冷链管理，历史核查信息查询，上报数据生成，下载信息核查表，用户管理，部门管理。系统主要进行数据统计管理和用户查看总结。 2、本人主要负责项目后端接口设计，基本功能设计。

Jenkins自动构建，数据导入模块，数据分析模块，结果呈现模块。 Maven，Jenkins，pytest搭建 数据导入设计xml，TXT，Excel等文档 数据分析对比

离线数仓：在服贸会的官方网站上获取数据信息，存入第三方数据库中，从mysql库中获取信息，利用公司的城操调度，T+1的形式存入hive库中。由大数据工程师通过 hive 的分层建模，需要得到各省市区，境外的参展商，专业观众，新增企业数、疫情下的人流量、票务证件的使用情况、各地区的订单金额等有效信息，通过城操调度将数据结果存放在 MySql 中。然后将数据并进行分析以及调用数据进行数据BI报表展示。 实时数据：通过接口，接入入场人的信息，通过闸机获取公安的个人核算报告，然后通过FlinkSql进行计算。 接入大屏进行展示。 业务需求： 省市区：行业分析、组展机构、展品展馆 年 度：企业新增、用户分析、新增参展商 月 度：公司概况、主播分析、内容分析、地域分布处理日度、月度金额占比、订单增长率 周 度：直播数据，直播观看人数，直播间pv，uv统计，洽谈间人次，各网站浏览pv，uv 直播分析：论坛活动，会议直播 会展数据：当日进场人数，当日票务总计，当日制证总计，闸机人数统计，展馆人数统计 各pv，uv来源：官网，APP，小程序，H5 展台/

一、项目功能模块划分 1、销售合同管理，用户可录入销售合同信息（合同编码、名称、设备金额、服务金额、客户信息等）、以及销售合同相关操作信息，如：销售合同约定回款、销售合同开票、销售合同回款记录，根据以上录入信息计算销售合同合同到期金额、合同应收金额、总回款金额、回款率、未回款金额等；所有信息均支持Excel导入与Excel导出，且计算相关税务。 2、采购合同管理，用户可录入采购合同信息（合同编码、名称、合同金额、供应商信息等）、以及采购合同相关操作信息，如：采购合同收票、采购合同支付记录，根据以上录入信息计算对应项目付出成本等；所有数据均支持Excel导入与Excel导出； 3、项目管理模块，用户添加项目信息，将销售合同与采购合同相关联，一个项目可能有多个销售合同与采购合同，根据销售合同和采购合同信息，计算项目的利润与利润率； 4、提成管理模块，用户可以以项目为单位设置项目的提成人员与提成规则，计算提成人员可提成金额，可添加提成记录，计算提成人员已提成金额、剩余提成金额； 5、系统代码生成工具，用户可导入相应数据库表格，生成表格相关实体类、业务处理类、mapper层、service层、

1.机器人可自动寻路避障，识别管道和环境危害。 2.本人负责电控和视觉训练。同时机器人配备AGX系统，支持大规模数据训练，视觉跟踪能力由输出和电控调试。嵌入式能力比较好。 3.其他方面在训练过程中主要使用python，算法为yoloV5。

项目内容：招生信息该系统主要为用户提供艺术类院校、专业、教师、学生等信息 查询，以及课程、实践活动、招生就业等相关信息。通过这个平台，用户可以方 便地了解艺术类 教育的全面信息，为学生和家长提供决策参考。 技术架构： SpringBoot、Mybatis、Vue、ElementUI 我的职责： 1.将数据进行清洗并导入到系统中，作为数据支撑 2.根据报考类型与专业类别进行学校查询完成相应接口 3.综评查询模块接口的完成

1. 项目背景： 为了帮助教育培训机构自动化生成课评、祝福文案、约课话术等，开发一款多端支持的 AI 智能百宝箱。 2. 项目细节： 使用 Vue2、Vuex、Vue Router 等技术栈，集成 Vant 组件库,利用 CSS3（Sass/Less ）进行样式优化。 3. 项目难点： 如何实现多端支持，并确保性能优化。通过采用按需加载和懒加载的方式，使用 CDN 进行静态资源部署，实现快速页面响应。 4. 优化和改进： 在项目中不断进行优化和改进，例如采用打字机功能，实现实时内容输入；通过账号付费和邀请分享功能，增加用户粘性；增加使用记录功能，方便用户查看历史记录等。

Django框架技术其中包括三大的部分，分别是模型、视图和模板结构。并且许多的网站和管理系统都是基于Django框架技术进行开发和实现的, MySQL数据库的关联型数据库，它把数据存储在不同的表中，通过每个表中的主键进行关联，这样提高了数据调出和使用的速度也在一定的方面提高了数据的灵活性。

项目背景：搭建工程造价大数据库，建立造价数据“共享共用”机制，实现造价数据价值利用最大化。 项目难点：造价领域专业性强，业务流程独特；满足实现快速、准确、可预测、可追溯的数据分析功能。 项目职责：梳理造价专业的核心业务流程与知识体系；搜集分析各类企业数据，优化人工、材料等成本；基于 SpringBoot 程序架构，运用集群、分布式、缓存等架构，进行系统开发。 项目业绩：在全国率先构建以“大数据”、“云计算”和“可视化”技术为核心的造价大数据管理体系，进一 步提高市政府投资的决策效率和科学性，推动市造价管理的转型升级，加快构建智慧城市步伐。

该管理后台是专为工程软件架构的一套服务管控平台，为公司各个部门员工使用 该系统分为多个管理功能模块： 1、账户管理模块，对所有的工程用户账号进行监控和异常报警 2、财务管理模块，管控所有财务的出入账审核，异常账单处理、账单路径追查、账单退款..等功能 3、福利管控平台模块，进行管控工程软件APP及小程序的各种福利发放控制系统（优惠劵，代金券，折扣券等各种奖品） 4、订单管理系统模块，工程订单的监控，异常处理，订单统计，订单报价管理等 5、综合数据分析模块，对各种工程数据及用户数据，成交概率等各种数据进行专业分析报告 6、劳务工人管理，工人的实名制对接政府部门实名制系统，劳务的发放管理等 7、及其它各种系统模块功能

数据采集分页 数据提取 加密处理 数据存储 通过数据采集实现分页，提取感兴趣的数据，进行加密处理，并最终将处理后的数据存储起来： 数据采集分页： 使用合适的爬虫或API请求，获取所需数据。将数据分页获取，以便更有效地处理大量信息。 数据提取： 从采集到的原始数据中提取出你感兴趣的信息。这可能涉及到解析HTML、JSON或其他数据格式，以获取目标数据。 加密处理： 对加密算法解密 以达到绕过请求校验。 数据存储： 将数据存储到合适的存储介质，。

1确定目标和数据源 2使用Python库进行数据采集 3数据清洗和预处理 4数据分析 5数据可视化 6实际的品牌营销、竞争情报或行业分析中