数据处理

主要分为几个部分 1 网站网络请求分析，JS源代码分析等 2 模拟浏览器发送请求，获取数据后解析数据 3 数据持久化，保存在了json文件中（抓取重点数据可保存在数据库中）

项目分别有爬虫和数据预处理、注册登录窗口、数据分析预测、情感可视化等功能。项目由本人独立完成，包括数据爬取、数据处理、窗口搭建、数据建模预测和可视化。

项目名称 上海新城地产计划系统，广州时代地产计划、资产系统，杭州中安计划系统，光大地产计划系统，华润置地计划系统 软件环境 Windows8/2007/XP、linux等 开发工具 JDeveloper Studio、MyEclipse10、Oracle P6、SVN、Weblogic Server、Tomcat、Axure等。 数据库 Oracle11g 主要技术 J2EE、ADF 框架技术、P6接口等核心技术 参与过的模块开发： 经营计划、 经营计划作为公司年度责任部门的指标，各项业务活动都是围绕着指标进行开展工作。经营指标的完成情况，直接关系到公司的经营活动。 项目计划、 进行项目计划编制、计划调整及审批 、完成情况填报。 会议管理、 为了管理过程中的项目决策会议、项目专业会议的集中管理，实现会议管理与项目计划、经营计划集中控制，提高新城总部对各管理中心、城市公司、项目公司的清晰明确管控和跟踪力度。会议管理主要由会议计划、会议卡片、会议汇报、会议待决事项/作业、会议验证关闭、会议统计等功能组成。 部门计划、专项计划、 对各部门根据公司年度计划、考核指标结合本部门常规工作任务编制

负责通过Docker容器化技术结合shell脚本一键部署前后端项目，负责ai解析服务开发 1.实时监控与更新： (1)使用 pymysqlreplication 监控 MySQL 数据库的 wool 表变化，实现24小时实时监控。 (2)监测到 APP 客户端调用线报新增接口后，监控程序会及时更新数据库。 2.标题解析与AI服务： (1)利用 OpenAI 服务解析商品标题和ID，结合时间戳过滤日志，提取必要信息。 (2)使用 Dashscope 发起 AI 请求，根据商品标题和自定义描述获取商品标签、子类别和到手价。 3.数据解析与记录： (1)当 AI 服务响应正常时，从响应中解析出需要入库的字段信息。 (2)结合商品线报ID，利用 SQLAlchemy 完成数据的入库操作，并记录执行日志供后续查看。

本作品基于Tensorflow.js，使用其卷积等运算设计了一个嵌入到Typescript中的DSL语言，能使用这一DSL来设计各种规则的生命游戏，且支持GPU加速，在静默模式下平均可达到10到100倍的加速比 内置几种经典的生命游戏规则如b3s23等 支持自定义规则 暴露了record接口支持在其上进行神经网络训练

1.为一个钢铁厂做一套定制化的生产系统，其中包含生产，质检，库存，报表等模块，该项目是基于jeecg低代码来设计的。 2.在该项目中模块基本上都有做过，需求到手上之后从需求分析，数据库设计，代码生成，后端接口处理。 3.该项目中遇到的问题主要是需求方那边给的方案不清晰，导致项目经常变动，先做一套大致的，客户对流程不满意的地方再在该基础上去进行调整优化。

该项目主要根据当地产业链现状，为用户跟踪意向产业，快速查询上下游配套企业，通过大数据展示产业链图谱，以商引商，为客户展示直观清晰的产业链相关信息。主要参与该项目的核心开发工作，根据 UI 设计稿高度还原场景动画，主要使用 vue、echarts、highcharts 多图表展示，配合element-ui组件库，引入公司内部组件库，与后端人员对接接口，共同完成开发任务。

1、项目主要由系统管理、系统监控、系统工具、程序采集分析（血缘分析）、数据库对比、消息推送等模块组成，提供银行内部开发人员查看取数问题追踪，查看错误如：SQL，xml、Python等脚本信息，查看数据修改记录的版本对比等功能 2、主要负责项目从0-1的搭建、功能开发、及日常维护等工作，应用技术栈 Vue、VueX、Vue-Router、element、axios、node、webpack、AntvG6、Git、java、Spring Boot 3、解决血缘分析大数据卡顿问题，解决方式优化数据展示分级根据分级显示不同效果

1、主要实现中国移动传输网络同路由隐患分析，涉及环网同路由分析，单条业务同路由分析、单条电路同路由分析、SPN核心层同路由分析、OLT上联同路由分析， 2、我负责该需求整体规划，需求文档编写，跟踪功能开发以及验证； 3、主要是行业业务知识要求较多，在理解行业知识基础上，进行业务逻辑设计；

将实时刷新的文件中的指定格式数据，通过实时监控，找到该数据，并发送到指定消息中 使用了python的hashlib，requests以及sys模块等

区域展示安全态势 服务器系统备份展 示 接口对接 地图分区 风险服务器展示 风险终端展示 安全事件展示 备份正常展示 备份失败展示 平台整体框架搭建，包含用户体系 、登陆规则、后面框架等 地图区域分块展示:主要分区域分别显示昆山，山东，台湾的网络安全态势 风险服务器数量及内容列表 风险终端数量及内容列表 安全事件数量及内容列表 系统备份正常的数量 系统备份失败的数量及内容列表 与设备接口对接，调试等。

灵活/动态建模 支持动态创建主数据模型，模型按领域分层级树状展示 规则配置严谨 模型、表、表单之间对应关系和引用关系明确；表与表单支持自定义规则配置 数据维护方式多样 支持从页面输入数据，也支持以文件方式导入数据 数据分发任务易看/可控 数据分发任务按领域划分，经流程审批；所有数据的统计、变更及维护可监控

功能：系统管理模块：密码修改，数据备份，基本信息模块：物资信息，车辆信息，客户信息，运输类型，司机信息，系统设置。业务模块：过磅，合同，提货单管理，派车管理，数据上传。报表管理;查询，统计，日报。

bitmap标签模板建设 项目目标：降低开发标签人力成本（开发效率）；解决长周期标签运算慢、消耗资源多的问题（运行效率） 项目成果： 1. 完成了基于bitmap实现留存和历史行为标签模板建设，降低了bitmap代码的理解成本，模板使用者填写变量即可生成ETL任务，每个标签开发时长在1pd内； 2. 标签模板能生产的指标包括——N日内的留存次数、留存天数、历史行为次数、历史下单金额、首/末行为日期等； 3. 标签模版支持任意时间段内的数据回溯，简化和降低回溯成本； 4. 每天人群数量范围在200w左右的用户标签，运行时间从4000s优化在2000s内； 5. 模版已通过数据验证，组内推行后共有40+个标签使用了该模版。

静态网页的制作 后端提供的api接口进行数据渲染，联调 动态样式的渲染 数据缓存 页面性能优化 浏览器兼容性解决

我的职责 1.与项目负责人紧密沟通，深入理解需求并提供合理的技术方案和建议； 2.参与系统架构设计，根据需求完成前后端的开发测试并优化代码提高性能； 3.处理线上相关问题，负责系统后期的上线维护，并为产品迭代提供技术支持； 项目描述：折扣快报后台管理系统是一个专为折扣快报设计的后台管理系统，致力于提升操作效率和管理效能。本系统包括控制台、用户管理、订单详情、审批提现及实时线报等五个核心模块，各模块之间协同工作，确保信息流通无阻。 技术描述： 1.身份验证与安全管理： (1)使用 Gin 和 jwt-go 实现登录接口，生成访问令牌和刷新令牌，确保安全的用户身份验证。 (2)通过 JWT 管理令牌，包括有效期管理和自动刷新机制，提升系统的安全性和用户体验。 2.实时数据处理与展示： (1)利用 Maxwell 解析 MySQL 日志生成 JSON 格式消息，通过 Redis 实现数据的实时传输和存储。 (2)使用 WebSocket 实时推送数据到前端，支持交互式获取日期范围数据，提高数据处理效率和管理员体验。 3.前后端技术协同： (1)后端使用 go、gin、gorm 等技术实现

1.流程使用camunda流程，流程设计act_相关23个表，包括流程基础定义，流程运行数据，流程运行后数据。 2.本人负责流程运行时数据处理，设计流程相关bpmn文件。 3.流程图bpmn开否过程中，使用相关相容网关，并行网关，子流程开发等，可以进行复杂流程相关处理。

服务内容全部包含: DPI协议解析。 嵌入式linux系统定制。 利用机器学习进行数据分析。 数据库表设计和性能优化。 系统性能优化。 服务部署。 服务优势: 8年以上技术管理经验：包括项目管理，常规代码review，项目管理平台搭建，解决方案编写，投标，申报专利和软著，培训，前沿技术预研，核心架构搭建等。带领技术团队，规模10人以上。 10年以上linux开发和部署经验，10年嵌入式开发经验，10年网络协议开发经验。 擅长数学建模和利用Python搭建机器学习模型。

整个系统的设计、开发、维护均由我一人负责。 例如： 系统管理：用户管理、机构管理、专家管理、角色管理 系统功能：送审管理、送审追踪、评审管理、在线评审、费用提取、拨付、消息推送、短信通知等 服务发布：linux、tomcat

分为web和采集两大部分 web包括前端可视化大屏：报警实时数据，设备状态，设备控制；后端基础数据管理，采集模板参数配置 采集服务接收终端上传数据，进行解析、清洗，存储，报警推送相关短信等 我负责采集部分编程，以及一些前端页面配置