SHELL

1. Qt应用软件开发，Qml和QWidget，熟悉VirtualKeyboard 2. C++程序开发 3. 嵌入式系统uboot、kernel、rootfs、Yocto及驱动 4. opencv简单的图像处理，图像识别

基于f-stack矿机实现的高性能负载均衡 负责数据转发模块功能，比如ip包的重组和分片 技术难点是需要对ip层的协议熟悉，熟悉dpdk对数据包的处理等

该项目基于 App 和网站的启动访问(用户行为)日志，以及业务交互日志，围绕 Hadoop+Hive 搭建用户行 为数仓和业务数仓，使用 HSQL，SparkSQL 对数据进行清洗，分层解耦，建模，分析得到各项指标，提取有价值的 信息，协助完成客户报表系统，涉及的技术栈为Hdfs + Zookeeper +Flume + Kafka + Hive +Mysql + Datax+ Dolphinscheduler

项目功能模块概述： 数据抓取模块： 实现从各种互联网源头如论坛、博客、新闻等抓取海量数据。 情报展示模块： 将抓取到的数据按照企业需求进行分析和展示，提供直观的情报，帮助企业制定竞争策略。 多源数据解析模块： 利用Java的htmlparser库进行html解析，提取关键信息，同时通过Python、Selenium、XPath等技术爬取Facebook、Weibo、小红薯、Google、Instagram、Twitter等平台数据。 Linux服务器支持： 构建强大的Linux服务器群，用于存储和处理海量数据。 用户实现的功能： 使用者可以通过系统从互联网各个渠道获取大量商业价值的情报数据，系统对数据进行解析和展示，帮助企业了解竞争环境，优化竞争策略。 我的贡献和技术栈： 负责模块： 我独立负责了从论坛和博客中抓取数据的模块，进行了grasper的优化，同时负责Linux服务器的部署，通过Shell脚本实现了持续部署能力。 使用技术栈： 项目核心技术包括Java的htmlparser库用于HTML解析，以及Python的Selenium、XPath解析等技术用于多源数据的爬取。

本项目主要是应对Hadoop生态体系组件的日常运维，包括部署、扩容、灰度上线、状态检查等，以及提供HDFS、hive、hbase等工具包，包括HBase region迁移，热点定位，创建表等工具包。 该项目主要是使用ansible进行统一管理，编写ansible playbook进行自动化工作。

项目描述： 微租赁是平安租赁推出的为小微企业客户提供在线租赁服务的 APP ，包括合同管理、寄件查询、智能提醒、发票验真等相关服务与功能，微租赁为客户打造一个线上自助查询服务，是客户服务与关怀的租赁服务中心。 职责：合同管理，客户管理，授信管理，进项票管理，人员管理等。 项目描述： 主要职责：1.业务管理 1）业务线配置 2）业务线基础配置 2.商户管理 1）商户注册 2）商品管理 3）商户结算配置 3.用户管理 1）用户注册 2）划拨明细管理 4.交易管理 1）充值明细管理 2）账号余额管理 3）账号出入金管理 5.对账管理 1）商户对账管理 2）对账通道管理 3）通道对账异常明细 4）通道对账单下载 6.结算管理 1)结算管理 职责： 项目管理以及后端开发

1、完成 HDFS+YARN+MR+HIVE 相关的系统搭建 以及CentOS相关环境的维护 2、SHELL + LINUX 熟知 3、熟悉数仓+ 数据资源池+数据湖相关的架构 4、对传统关系型数据库、NOSQL数据库 比较熟悉 5、熟悉Python 相关知识 包括数据初步解析、数据爬虫、词语拆解等

接口自动化测试框架核心特性 使用 python + pytest + allure + request + mysql/yaml 实现； 基本特性： （1）数据不可控性 大部分由于人为因素 修改或者删除 维护的测试数据导致的。 由于被测系统接口返回的数据是实时变化的、也不是固定的，导致断言失败，此时并不确定是被测程序错误引起的，还是测试数据变更引起的。 （2）被测系统的中间件服务异常 （3）依赖第三方系统

本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而H

实时定位：读取定位终端⽣成的数据在地图控件上实时展示移动路线。 轨迹回放：选择特定时间段，查看该时间段内的移动路线。 隐患报警：定位终端具有sos报警，摔跌报警，⻓时间静⽌报警等报警类型，通过该终端的反馈，可以实时 掌控报警情况，并根据报警情况，在地图⻚⾯进⾏报警提示，并推送报警信息给⽤户。

1. Qt应用软件开发，Qml和QWidget，熟悉VirtualKeyboard 2. C++程序开发 3. 嵌入式系统uboot、kernel、rootfs、Yocto及驱动 4. opencv简单的图像处理，图像识别

项目涉及技术 ：spring boot、Vue、element ui、 Nginx、Quartz 项目描述：这个项目主要是对不同县（区）新能源光伏扶贫电站下的数据进行统一监测与管理。 个人职责： 1. 负责与第三方系统进行对接 ，将不同数据处理并储存 ，根据数据量的大小 ，采用三维一体的 多元存储方式储存到 MySQL、 Redis 和 Hbase 中。 2. 根据数据的用量和重要程度 ，采用不同的数据流动方式(http 推送和主动获取的方式) ，将用 量大的数据推送之平台指定地址 ，重点数据通过实时获取来维护数据的完整性。 3. 储存时采用分库分表的方式 ，提高数据库的性能 ，优化数据查询时间。 4. 测试各种传感器可用性，并用 485、MQTT 等物联网协议对接传感器 ，融入到项目中，实现 新能源与物联网联合。 5. 优化数据库性能 ，采用分库分表的方式 ，提升数据查询时间。 6. 负责项目部署和维护。

1：利用kettle进行job的开发，获取源端数据。 2：利用sheel进行kettle作业调度。 3：利用navitcat进行数据库管理。 4：利用java进行接口的开发。

2022 年，参与农发行驻场项目文件一致性对比自动化运维方案的部署和实施，编写的《基于文件一致性对比的自动化研究与实现》论文，于 2022 年 9 月份在《信息技术与标准化》杂志发表，能力获得客户的肯定和好评；[1]马力,唐亮,郭正斌,郭和龙,冯振虎.基于文件一致性对比的自动化研究与实现[J].信息技术与标准 2022 年，任职主机岗位期间多次参与并负责农发行驻场项目测试环境系统安装、服务部署、系统容灾备份等方案的部署、实施及运维文档的编写与维护等，现场工作获得客户方较高评价；

1.号码市场,靓号推送 2.财务管理, 采购管理, 黑名单管理 3.开放平台接口对接 4.CRM客户关系管理 5.仓储管理 6.权限集中管理

1.每天爬取全量推特帖子及用户相关信息数据,发送到kafka 2.实时监控重点用户及帖子的动态数据,发送到kafka 3.接收数据,保持最新用户及帖子状态数据,更新到es中,并生成指定维度的报表 4.基于现有的帖子数据,对内容进行自然语言处理,判断语气的正负面,并提取关键信息保存

主要针对ERC20,ERC721,ERC1155协议数据进行存储计算,最终能为客户实时展示和查询,某个币的卖家,买家,交易时间,数量等信息. 1.数据从kafka接入,经过flink任务后,写到clickhouse 2.clickhouse每天都会进行一次批量计算 3.同时使用flink进行实时计算,完成增量更新 4.由于中间发生过服务器升级情况,为了避免数据产生问题,所以增量数据和全量数据分开存储,每天把3天前的数据写入到全量表中,最近3天存在另一张表中,在对用户展示时,会把两张表关联起来查询

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

完成电商管理系统核心功能的开发和上线 熟悉spring源码，linux系统，zk和nginx等中间件，能快速解决项目中遇到的疑难问题，比如项目中请求乱码问题，支付回调异常问题，多线程问题

1.参与总体数据仓库设计。 2.使用Python/自研调度工具将最底层不同系统不同类型的数据源(接口，Excel，Json，Mysql，Oracle)统一抽取到操作数据存储层。 3.使用自研调度工具对总线层数据进行转换、清洗，生成干净的数据流。 4.定期对项目整体代码review，对Python代码和SQL和储过程进行优化。 5.由于项目前期甲方提供数据不足，我负责使用Python的Pandas、Numpy、Nyhive、Flask生成模拟数据，并将数据保存到Hive、Excel中，并将数据通过接口和视图、表的方式暴露出来，以保证有数据，项目可以正常推动。 6.将明细数据仓库层进行聚合，形成业务领域的明细数据集，最后使用调度工具将数据入到Mysql中。