日志分析和统计

随着企业数字化转型的深入，业务系统日益增多，数据量呈爆发式增长，数据类型也愈发复杂，涵盖结构化数据（如业务数据库中的订单、客户信息）、半结构化数据（如日志文件、JSON格式的接口数据）和非结构化数据（如文档、图片、视频等）。原有的数据中心架构难以应对多样化数据的存储、处理与共享需求，数据孤岛现象严重，各业务部门数据利用率低，无法支撑企业精细化运营和智能化决策。为此，企业启动数据湖项目，同时对数据中心进行数据集成升级，旨在打破数据壁垒，实现全域数据的汇聚、治理与高效利用。我作为核心开发人员，深度参与数据集成相关的设计与实现工作。

降低用户对数仓数据的使用门槛 可以通过管理系统快速找到自己需要的数据 1、公司数据数据源管理 和资源使用情况监控 2、每个表数据源的血缘关系和字段信息 3、权限管理 控制每个用户使用权限和数据权限 4、自动生成接入表的相关作业 具体功能设计 ： 1、数据管理系统 架构搭建 基于开源项目搭建数据管理系统 2、数据库设计 用户表设计 Doris表元数据存储表设计 表字典元数据信息表设计 指令和回调表存储设 指令和回调的字典表设计 表的血缘关系表设计 权限表设计 角色表设计 3、页面开发 登录页面 首页统计页面 权限表列表页面 权限配置页面 角色列表页面 角色配置页面 Doris表查询页面 表字典信息页面 指令和回调列表页面 指令和回调字段列表页面 作业配置解析页面 生成解析作业页面 生成指令和回调关联宽表页面 表的血缘关系以及作业和表对映射关系列表页面 4、功能开发 登录功能开发 首页统计功能 库和表存储统计开发 Doris表列表 改查功能开发 表字典列表 修改和查功能开发 指令和回调列表 增删改查功能开发 指令和回调字段列表 字段配置和查询功能开发 开发根据指令和回调配置信息生成 对应的解析作业 开发调度华为云API生成对应的表和作业 开发生成指令和回调关联的宽表功能 解析所有Flink SQL作业 生成所有表的血缘关系以及对应的作业 血缘列表多字段查询功能开发 5、数据清洗-定时更新 Doris表元数据 定时清洗更新 Doris表字段元数据 定时清洗更新 指令和回调数据 实时更新输出 表的血缘关系 实时更新输出 6、通用功能开发 1、生成页面工具 2、页面字典内容查询功能 3、整体页面样式优化 4、后端系统监控 5、用户操作日志功能开发 6、系统字典功能开发 7、功能测试与联调 登录功能联调测试 首页统计功能 库和表存储统计联调测试 Doris表列表 改查功能联调测试 表字典列表 修改和查功能联调测试 指令和回调列表 增删改查功能联调测试 指令和回调字段列表 字段配置和查询功能联调测试 开发根据指令和回调配置信息生成 对应的解析联调测试 开发调度华为云API生成对应的表和联调测试 开发生成指令和回调关联的宽表联调测试 解析所有Flink SQL作业功能联调测试 血缘列表多字段查询功能联调测试

项目实现以 “技术适配场景、迭代验证效果” 为路径，分三阶段完成落地：​ 技术选型与架构搭建​ 前端采用 Vue3+ECharts 构建轻量化交互界面，支持病害数据实时可视化与地图联动；后端基于 Spring Cloud 微服务架构，实现识别引擎、数据管理、决策分析模块的解耦，保障高并发场景下的系统稳定性。核心算法层通过 TensorFlow 框架训练专属模型，针对路面光影变化、遮挡物等干扰因素，引入数据增强技术（如旋转、模糊处理）扩充训练集，使模型在复杂环境中仍保持高识别精度。​ 分场景试点验证​ 首阶段选取 3 类典型路段（城市主干道、高速公路、城郊公路）进行封闭测试，累计采集 10 万 + 张实景影像，通过人工标注与系统识别结果的比对，持续优化算法参数 —— 例如针对高速公路车辙病害，新增 “灰度梯度分析” 特征提取逻辑，将识别准确率从 89% 提升至 96%。同步验证 GIS 坐标匹配精度，通过融合北斗定位数据与影像帧时间戳，将病害位置误差控制在 3 米内，满足养护施工的定位需求。​ 全流程闭环落地​ 试点达标后接入实际巡检业务，建立 “影像上传 - 自动识别 - 人工复核 - 数据归档 - 决策输出” 的标准化流程：巡检车辆采集的影像经 5G 实时传输至系统，10 分钟内完成批量识别并生成初判结果；养护人员通过移动端 APP 接收复核任务，对存疑病害进行二次确认，数据同步更新至管理平台；最终由决策系统自动生成养护优先级清单，支撑管理人员快速调度资源。项目上线后，单条 100 公里路段的巡检效率从 3 天缩短至 4 小时，数据复用率提升 70%，验证了系统的实际业务价值。

框架易二开 TP6 + MySQL常见框架 Thinkphp6 + MySQL轻量级web框架，快速开发 标准RESTful接口 标准RESTful接口规范，接口更规范，对接更方便 前后端分离 前后端分离，精准开发，加快页面速度，提升性能 层次清晰 层级清晰，接口层、服务层、数据层，每层负责功能明确清晰 灵活权限控制 自动检查系统环境，错误提示说明，修改方法 表单自动生成 采用Form-builder快速生成现代化表单 第三方接口驱动插入 登录、支付、短信、存储等扩展驱动统一，更易开发 完善的对外接口 商品、订单、用户等重要功能配备众多的对外接口 代码易二开 代码注释全面 所有方法以及代码块都有详细的注释说明 接口文档 配备完善的数据接口文档 开发文档 众多的二次开发功能说明文档，为二开提供资料支持 组合数据 支持多种数据格式的组合，实现快速添加数据 系统配置 后台添加各种配置，快速完成各种系统配置 在线编辑代码 后台可以快速读取和编辑文件代码 后台可见数据字典 系统后台支持查看数据表结构、备份数据表 事件埋点 众多程序事件埋点设置，有助于系统二开

唐山文旅安全生产平台是为集团及下属单位打造的综合性安全生产管理系统，覆盖风险管控、隐患排查、教育培训、应急管理、数据分析等核心场景，旨在实现安全生产全流程数字化闭环管理。系统包含PC端与移动端（APP），支持多级部门协同、实时数据可视化大屏、智能预警提醒等功能，有效提升企业安全生产管理效率与规范性。

DIP数据统计分析系统功能介绍 一、本方案面向医院，解决了什么问题 - 针对医院DIP支付制度下的数据分析需求 - 自动化处理医保数据，减少人工统计工作量 - 提供可视化分析，帮助医院了解DIP支付情况 - 科学评估医保运行情况，发现问题环节 二、相比于市场常规方案，本方案有哪些特点 - 提供多维度数据分析，包括科室分值、费用、病种分布等统计 - 支持全院及单科室数据筛选，满足不同层级管理需求 - 自动计算DIP符合率，提供精准的医保盈亏分析 - 可视化界面直观展示数据，无需专业数据分析背景 - 支持导出各类统计图表和详细数据，便于报表制作 - 重点突出"优势病种"和"低倍率病例"分析，指导临床优化路径 三、方案的产品组成或技术特点 - 现代化图形界面，操作简单直观 - 灵活的科室选择和图表类型切换 - 智能识别医保类型（职工/居民），自动套用不同单价 - 多种数据可视化图表：柱状图、饼图、表格等 - 支持Excel格式数据导入，兼容医院现有数据库 - 高性能数据处理引擎，可快速处理大量病例数据 - 自动过滤自费病例，确保医保分析数据准确性 - 精确计算各科室盈亏情况，为医院运营决策提供依据 这套系统通过科学分析医院DIP数据，帮助医院管理者精准把握医保政策执行情况，优化临床诊疗路径，提高医保支付效率。

一、本项目面向大型猪场配合智能饲喂器使用，功能包括母猪生产周期管理，智能饲喂器通讯控制，对接第三方平台数据接入，如环控，料塔称重等。 二、本人工作职责如下： 1. 负责智能猪场管理平台的整体架构设计与搭建，确保系统的高效性与稳定性。 2. 完成平台核心功能模块的代码编写，包括母猪生产管理、智能饲喂系统。 3. 实现与第三方设备的数据对接，确保视频监控、环境控制、水电能耗等模块数据的准确传输与处理。 4. 开发服务器与饲喂器之间的Tcp通信，保障信息实时同步，提升管理效率。

一、项目背景与开发需求 随着新型电力系统的发展，储能系统作为电网调节、削峰填谷、备用电源等重要组成部分，在工业、电力、新能源等场景中得到广泛部署。为了实现对储能系统运行状态的直观监控与高效运维，企业提出开发一套部署在 ARM 架构设备（如工控一体机、嵌入式主控板）上的可视化监控大屏系统。 该系统需基于 Ubuntu 操作系统 和 Qt 开发框架，具备全屏展示、状态刷新快速、界面美观科技、操作流畅、数据交互稳定等特性，支持自定义组件、动态图表、数据轮播和后台控制指令。系统由公司团队全自主开发，涵盖 UI 设计、核心逻辑、通信协议、图形渲染、性能优化等全流程。 二、项目定位与设计目标 类别 内容 平台架构 基于 ARM（如 RK3568、IMX8）+ Ubuntu 系统 软件框架 Qt 6.x / Qt 5.15 LTS + QML / Widgets 界面风格 美观现代、科技感强、可触控适配 数据来源 串口 / TCP / MQTT / Modbus-TCP 等协议接入 展示方式 图形化仪表盘、大图轮播、实时曲线、告警列表、系统日志等 响应性能 秒级刷新、不卡顿，GPU 加速渲染优化 自主研发 全部源码由公司独立开发，无第三方闭源依赖 可拓展性 支持后续接入更多设备、扩展模块化页面 三、核心功能模块设计 1. 设备运行监控 实时读取电池簇、电池包、PCS、BMS、EMS 等设备运行状态； 可视化展示温度、电压、电流、SOC、功率等关键指标； 支持设备拓扑图点击展开、下钻信息查看。 2. 数据可视化界面 使用 QML/QtCharts 绘制动态波形图、柱状图、曲线图； 状态图形实时变色（绿-正常，黄-预警，红-故障）； 全屏布局自适应 1920×1080 / 1280×800 多种分辨率； 支持暗黑主题、3D风格仪表盘和动画切换。 3. 告警与日志系统 实时采集异常信息与告警事件，分类展示； 支持历史日志查询、导出 CSV； 关键告警页面滚动轮播或语音提示。 4. 通信协议适配 支持多种通讯方式：RS485、Modbus-TCP、MQTT、Socket； 所有通信接口封装为模块类，便于替换和扩展； 多线程/异步通信模型，保障数据实时性与稳定性。 5. 后台控制与参数配置 提供工程设置密码保护入口； 后台界面支持对设备参数设定与远程控制（开关机、重启）； 配置项保存为 JSON/YAML，便于导入导出与迁移。 四、架构与技术选型 层级 技术说明 操作系统 Ubuntu 20.04 / 22.04，定制裁剪适配 ARM 框架 Qt 5.15 / Qt 6 + QML + Qt Quick Controls 2 数据引擎 多线程采集模块 + 信号槽数据分发 图形界面 GPU 加速的 Qt Quick 渲染 + CSS 风格主题 构建方式 CMake + Qt Creator / VSCode，支持交叉编译 启动方式 开机自启动、全屏模式、无边框窗口控制 优化 使用 OpenGL、QSG、多级缓存、图层裁剪提升性能 安全 UI 与底层逻辑隔离，设定只读控制项防误触 五、项目亮点与自主开发能力 ✅ 完全自主开发：UI、控制逻辑、通信协议、图表组件均由公司核心研发团队从零实现，无第三方闭源依赖； ✅ 多技术整合：整合 Qt/QML 渲染、嵌入式通信、ARM优化、数据缓存、事件驱动等多类技术； ✅ 高可拓展性：支持项目后续对接 EMS 系统、云端接口、远程升级与 OTA； ✅ 美观科技风界面：采用现代感 UI 设计，支持动态图标、流动背景、渐变动画等视觉增强； ✅ 稳定运行：已部署测试运行于多款 RK3568 主板，24小时连续运行无崩溃、无卡顿。 六、典型应用场景 ⚡ 电力储能集控室大屏监控 ? 工业能量管理系统 ☀️ 分布式光伏+储能混合系统 ? 智慧园区电池仓室内监控屏 ? 电池测试与老化系统数据展示

项目里需要记录日志，参照多个日志库，综合后有了这个c语言的日志库 1。能在多线程下安全输出日志； 2。高性能输出日志，每秒输出大约在20W条到100W条之间； 3。简单易用，查询格式字符后，可以快速应用。

1. 深厚的技术知识：掌握广泛的技术栈，包括操作系统（如Linux/Unix, Windows）、网络协议、虚拟化技术（如Docker, Kuber netes）、云服务（如阿里云，腾讯云）等。 2. 问题解决能力：能够迅速识别并解决系统中的故障或性能瓶颈，具备良好的调试和分析技能。 3. 自动化技能：熟悉各种自动化工具和技术（如Ansible, Jenkins），能够编写脚本（如Bash, Python）以实现日常任务的自动 化，提高效率和准确性。 4. 监控与维护：精通使用监控工具（如Prometheus，Grafana）进行系统的实时监控和性能评估，确保系统的高可用性和稳定 性。 5. 安全意识：理解网络安全的基本原则，能够实施安全策略来保护数据和系统的完整性。 6. 持续学习的态度：IT领域发展迅速，保持对新技术的好奇心和学习热情，持续提升自我能力。 7. 应急响应能力：在面对突发事件时，能够冷静处理，快速采取行动以减少损失，保障业务连续性。

深圳数据交易所—交易平台 简称交易平台，以建设国家级数据交易所为目标，从数据合规保障、流通流转支撑、供需撮合、生态发展四方面，打造覆盖数据交易全链条的服务能力，构建数据要素跨域、跨境流通的全国性的数据交易平台 主要工作内容：  协助并指导外包同时完成交易平台的业务测试，收集每日测试进度，分析测试风险  设立需求准入，准出标准  提炼测试过程中的数据，配合项目经理，不断完善项目管理流程，在软件生命中期中发挥测试应有的责任  对交易平台主要流程接口做性能测试  对外包同事的测试结果做验收性测试

大事件系统是为业务服务侧(使用方)，提供服务监控数据可视化以及总览看板，且定制 化合理化的为使用方提供扩缩容服务，以及流程的可视化，且确保资源回收，当扩容出现失 败时候。大事件系统提供告警信息。

【1】权限管理：实现多权限自动生成目录 【2】动态路由：实现根据权限显示路由 【3】二次开发设置：在权限和路由的基础上可以转换成多种管理系统 【4】日志集成：每个请求都会作为日志记录在数据库

项目分为物联网网元数据采集模块，数据处理模块。 通过kafka采集到网元的资源和性能数据，并将其存入时序数据库处理后展示。

对任务流数据进行了可视化设计，使用图表、图形等方式展示了任务流的关键信息，帮助用户更直观地理解和掌握任务情况

有约养老尊享版 1、包含个人中心、邀请函模块、客户管理模块三大模块、其中细分多个模块 2、邀请函制作、存储、发送及统计、客户标记及回显。实时更新灯光功能、个人信息管理、生成名片等

项目描述：智能硬件，收集称重数据，自动更新出入库流水，库存，还有盘点查看历史记录，设 置，拉取基础数据，还集成了外接打印机和外接摄像头等功能。该项目支持离线使用，大部分的 处理也是针对离线的数据计算和跟后台的数据同步问题 责任描述：个人开发 技术要点：  大量使用jetpack中的room库实现数据存储和修改  对接汉印和大华的sdk实现蓝牙打印和使用网络摄像头拍照功能  对接扫码枪实现扫描一维码快速选择商品和扫描二维码创建订单功能  对接秤sdk实现称重数据获取和控制秤的一些功能（置零、去皮等）  对出入库拍照的照片压缩并添加商品信息和时间，公司logo等水印

1) 高效的数据接口开发与管理：在项目中，不仅负责了内部接口的开发，还提供了对外的基础数据接口， 确保了系统内部与外部平台之间数据的高效流通。这种全面的接口开发与管理能力，展现了对项目整 体数据流转的深刻理解与把控。 2) 实时数据汇聚与存储优化：通过开发汇聚程序，将对接的轨迹、设备定位等数据实时转存到 ClickHouse 中，这一做法显著提升了数据处理的实时性和查询效率。结合 redis 的订阅功能，实现了对指定设备 点位信息的实时订阅，进一步提升了系统的实时响应能力。 3) 基于 Kafka 和 Netty 的实时数据流处理：部署 kafka 集群，并搭建 netty 客户端，用于接收和处理实 时数据流，这一创新做法有效解决了原接口接入数据时遇到的数据量大、易断开连接以及数据丢失等 问题。Kafka 的高可靠性和高并发处理能力，结合 Netty 的高效网络通信框架，确保了数据的稳定、 高效传输。其余系统通过订阅 Kafka 获取设备轨迹及设备信息，实现了数据的实时共享和协同处理， 提高了整个系统的运行效率。 4) 基于 Redis Geospatial 和数据库空间坐标的点位信息管理：采用 Redis 的 Geospatial 数据类型和 geohash 算法来存储视频设备和警力的实时最新数据，这一做法为系统提供了高效、准确的空间位置 查询能力。通过 Redis 的订阅功能，系统可以实时获取设备或警力的位置变化信息。在数据库中采用 空间坐标存储点位信息，使得系统能够迅速响应获取周边点位信息的需求。这种空间数据存储和查询 技术，为系统的空间位置分析提供了有力支持。

接服务器运维，框架方案，技术问题，包括elk日志集群、Prometheus监控预警、docker容器化管理、……不接网络安全、流量清洗等方向 如有问题可免费咨询 微信：18547626935

针对高校考务一体化：从开学创建考核任务到最终成绩以及与教务系统无缝对接。 数据大屏：针对考务的状态对学生生成分析报告，以及教师的分析报告等 命题系统：针对教师根据题库里的试题进行自由组卷等