作业/任务调度

前言 在企业系统开发过程中难免少不了一些定时任务来进行定时触发执行任务，对于非分布式环境系统中，我们只需要在对应系统中内部集成一些调度库进行配置定时触发即可。 比如：使用 Spring 框架集成...

本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而H

主要负责调度的开发和维护。基于数采服务采集的数据和xxl-job调度框架,开发计算小时, 日,月,年维度的能耗和费用计算以满足各维度统计能耗和费用的业务。开发工单派发调度以满足设备维修、保养、巡查和数据抄表等业务。

数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。 特点： 组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系 实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志 开发插件，自定义转化同步逻辑

Fireworq 是一个轻量、高性能、语言无关的任务队列系统。具有以下特性： 可移植性：适用于任何能使用 HTTP 的语言 可靠性：构建于 RDBMS (MySQL) 之上，即使任务队列进程死亡...

Volcano 是基于 Kubernetes 的批处理系统，源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构...

项目主要服务于运送货物，包含接单抢单，车货速配，派车企业可以入驻派车，运送企业可以入驻发布运送需求。内含发票管理，保险管理，企业车队管理，订单管理，实时监控管理，账户管理，客服管理，企业端管理，加油站及救援管理等等。

基于Golang 与 Redis 开发的高速、安全的异步任务处理器。 支持多种存储协议： 1. Redis 2. Sqlite 3. Mysql 4. In Memory

主要功能: 1.项目用户角色管理 2.数据库安装部署 3.集群生命周期管理 4.软件包配置管理 使用prometheus+grafana配置节点数据监控，平台实现数据库安装管理，数据库用户管理创建删除授权等

- 主导构建离线数仓，汇集业务联机数据库和终端用户行为日志数据，实际数据过滤、治理、解析、集成、入库。 - 划分主题建设，为公司提供多种报表统计结果和业务系统技术支持。 - 提高数据处理性能，解决数据漂移延迟，实施数据脱敏和解析参数表的构建。 - 设计并维护多层次数仓结构，包括ODS、DIM、DWD、DWS和ADS层，优化数据仓库查询性能。 项目架构：Hadoop + Hdfs+Zookeeper + Mysql + Hive+clinkhouse+ElasticSearch +Azkaban+dataX+Spark+shull 项目流程： 数据采集： - 使用dataX从业务库同步全量和增量数据。 - 使用flume搭建数据传输网络。 数据分层设计： ODS层：存储未处理的源数据，保持一致性和追溯性。 DIM层：存储各种维度表，例如药品主数据、地区、生产单位、运力_站点等。 DWD层：清晰、规范化数据、采用维度建模理论。 DWS层：按主题轻度聚合数据，例如单位物资日聚合表，仓库自然月集合表，省市区储备表等。 ADS层：存放重要指标的结果数据，提供数据产品和服务。 报表开发：

基于STM32F10X系列单片机开发的网络中继器通信模块（INFOX）程序，建于Modbus通信协议上的RS485通讯程序的开发运用，编程语言使用C/C++编写Modbus函数构建请求和解析响应或使用现有库函数简化通信的实现；在通信程序中实现主站和从站功能，主站用于发送请求/从站用于响应请求，设定设备地址寻址编号以区分和查找设备，由Modbus协议功能码设定实现编码号对应执行所需功能操作，具备错误处理机制（超时响应，高频响应，乱码丢帧）返回错误码和诊断重联；INFOX中继器模块硬件功能（一路高速CAN通信端口，一路差分RS485通信端口，四路PWM互补输出其中两路防呆输出端口，四路按键输入输出IO端口，一路脉宽测量输入端口，二路COM端口，一路宽范围供电端口DC12~36V）应用场景：控制伺服电机，LED呼吸灯，语音提示，网络中继器，按键触发功能。

随着管理工作的日趋复杂，大量的线下填报、签字、审核等信息需要进行汇总处理，随之而来的也有填写不规范，数据不正确等情况时有发生。因数据量大而且复杂不便于核对，因为需要一套线上的填报审核值班管理系统，方便用户直接进行任务领取，日常填报，快速提交审批，从而生成日报，周报等统计报表，方便查询和追溯。构建值班管理系统，完成快速数据填报及自动检测的智能应用平台建设，快速更新迭代优化计算模型以及对日常业务的全生命周期的管理。 系统可以快速生成各部门需要的文档汇报材料报表，同时支持数据迁移功能，适用于某些营区没有专用网络的情况 系统也可以很方便的统计出人员动向，统计外出人数，支持自动冲突检测，对于军队信息化建设是很有帮助。对值班数据入库，方便检索。支持类似某网盘的功能，方便文件共享支持全文检索

1、项目针对数据分析中数据清洗、特征提取、统计分析常用的计算方法进行了固化，面向分析人员以规则化的语法形式实现快速的数据分析和结果输出，使用户拜托了定制化、重复性的代码开发工作。 2、在本项目中，个人首先完成了规则化语法以及算子的设计，同时采用akka框架实现了分布式多线程的并行计算，达到了单台128GB服务器实现10Gbps流量数据处理的效率。 3、本项目中的难点在于规则的设计；并行化效率。

Asynq 是一个 Go 库，用于排队任务并通过 worker 异步处理它们。它由 Redis 提供支持，旨在实现可扩展且易于上手。 Asynq 工作原理的高级概述： 客户端将任务放入队列 服务...

1、项目需求为从全国1万多家门店中找出老旧过热的交换机/路由器 系统由信息收集模块/数据存储模块/数据接口模块/监控展示模块组成 信息收集模块：用于收集全国1万多家门店的交换机信息 数据存储模块：用于存储网络设备的信息 数据接口模块：用于监控展示模块的接口调用api 监控展示模块：展示需要报警的信息 2、我负责除监控展示模块的其他模块，使用了python/redis/snmp/Prometheus/多线程等技术，帮助用户从1万多家门店内找并更换出50多台老化过热的设备，解决了门店网络不稳定的问题。

项目名称：工业互联网服务中心 一：项目分为个人中心、数字身份管理中心、链网管理和服务、链网管理及服务、链网监测中心、开发者中心、运营管理中心。 1：实现了用户的登录、角色、权限、菜单等基础模块的功能。 2：实现了用户对个人信息、企业信息的数据上链，将个人或者企业信息通过管理员审核后，将数据同步到开源长安链上，保证数据的安全性。 3：实现了用户自定义凭证模板，将需要的模板信息数据进行上链，保证信息的隔离性和安全性。 4：实现了个人用户与机构用户的信息管理功能。 二：项目难点 1：需要对接长安链，实现用户信息与长安链的交互，将用户或者企业的信息上链保存，保证信息的安全性 2：存在多角色竞选机值，通过投票机值升级角色，角色定位更高者获取更高的数据权限

gaffer 是 Rust 编写的微批处理调度工具，可优先级并行作业调度程序，具有并发排除、作业合并、重复作业和较低优先级的负载限制等功能。 特点 循环执行：作业将在某个时间间隔重新加入队列 作...

项目大体分为：党建管理、团建管理、党群互动、党委工作等等模块，以及管理模块的后台管理 我主要负责：金句管理、党员风采、党员月度考核、团员的各类接口

1、地图可视化，后台管理、前后端分离项目 2、技术栈：前端采用Vue、Element UI、echarts、Cesium（3D地图引擎）。后端采用Spring Boot、Spring Security、Redis & Jwt等。部署：Docker镜像。权限认证使用Jwt，支持多终端认证系统。支持加载动态权限菜单，多方式轻松权限控制。 3、内置功能：后台管理（用户、权限、角色、菜单、具体业务管理（如设施工单、排水设施检查与评估、设施管理））

Cadence 是 Uber 开发的一个分布式，可扩展，持久且高度可用的编排引擎，以可扩展和弹性的方式执行异步长期运行的业务逻辑。 业务逻辑被建模为工作流和活动。工作流程是协调逻辑的实现。其唯一...