Shell

1. 在线工具，主要面向需要联系雅思写作的学生。提供诸如自动批改、自动润色等专业功能 2. 我作为运维负责人，与前后端开发合作交付完整的服务。主要技术包括：docker、linux、shell、ci/cd等

1.参与总体数据仓库设计。 2.使用Python/自研调度工具将最底层不同系统不同类型的数据源(接口，Excel，Json，Mysql，Oracle)统一抽取到操作数据存储层。 3.使用自研调度工具对总线层数据进行转换、清洗，生成干净的数据流。 4.定期对项目整体代码review，对Python代码和SQL和储过程进行优化。 5.由于项目前期甲方提供数据不足，我负责使用Python的Pandas、Numpy、Nyhive、Flask生成模拟数据，并将数据保存到Hive、Excel中，并将数据通过接口和视图、表的方式暴露出来，以保证有数据，项目可以正常推动。 6.将明细数据仓库层进行聚合，形成业务领域的明细数据集，最后使用调度工具将数据入到Mysql中。

2022 年，参与农发行驻场项目文件一致性对比自动化运维方案的部署和实施，编写的《基于文件一致性对比的自动化研究与实现》论文，于 2022 年 9 月份在《信息技术与标准化》杂志发表，能力获得客户的肯定和好评；[1]马力,唐亮,郭正斌,郭和龙,冯振虎.基于文件一致性对比的自动化研究与实现[J].信息技术与标准 2022 年，任职主机岗位期间多次参与并负责农发行驻场项目测试环境系统安装、服务部署、系统容灾备份等方案的部署、实施及运维文档的编写与维护等，现场工作获得客户方较高评价；

实时定位：读取定位终端⽣成的数据在地图控件上实时展示移动路线。 轨迹回放：选择特定时间段，查看该时间段内的移动路线。 隐患报警：定位终端具有sos报警，摔跌报警，⻓时间静⽌报警等报警类型，通过该终端的反馈，可以实时 掌控报警情况，并根据报警情况，在地图⻚⾯进⾏报警提示，并推送报警信息给⽤户。

1：利用kettle进行job的开发，获取源端数据。 2：利用sheel进行kettle作业调度。 3：利用navitcat进行数据库管理。 4：利用java进行接口的开发。

接口自动化测试框架核心特性 使用 python + pytest + allure + request + mysql/yaml 实现； 基本特性： （1）数据不可控性 大部分由于人为因素 修改或者删除 维护的测试数据导致的。 由于被测系统接口返回的数据是实时变化的、也不是固定的，导致断言失败，此时并不确定是被测程序错误引起的，还是测试数据变更引起的。 （2）被测系统的中间件服务异常 （3）依赖第三方系统

项目功能模块概述： 数据抓取模块： 实现从各种互联网源头如论坛、博客、新闻等抓取海量数据。 情报展示模块： 将抓取到的数据按照企业需求进行分析和展示，提供直观的情报，帮助企业制定竞争策略。 多源数据解析模块： 利用Java的htmlparser库进行html解析，提取关键信息，同时通过Python、Selenium、XPath等技术爬取Facebook、Weibo、小红薯、Google、Instagram、Twitter等平台数据。 Linux服务器支持： 构建强大的Linux服务器群，用于存储和处理海量数据。 用户实现的功能： 使用者可以通过系统从互联网各个渠道获取大量商业价值的情报数据，系统对数据进行解析和展示，帮助企业了解竞争环境，优化竞争策略。 我的贡献和技术栈： 负责模块： 我独立负责了从论坛和博客中抓取数据的模块，进行了grasper的优化，同时负责Linux服务器的部署，通过Shell脚本实现了持续部署能力。 使用技术栈： 项目核心技术包括Java的htmlparser库用于HTML解析，以及Python的Selenium、XPath解析等技术用于多源数据的爬取。

该项目的是通过分析系统SQL(MySQL、Spark)，进行业务问题排查、分析、优化等，另一用途是自动生成airflow调度任务。 项目主要由前端+后端组成，前端主要用于展示分析结果，由原生html、echarts、neo4j构成，也实现了excel导出功能；后端主要分为sql分析、生成表粒度调度关系、生成字段粒度调度关系、excel样式定义及生成、airflow任务生成(全图、子图切割)等。 主要负责：前后端全部，且该项目已稳定运行并提供足够数据分析支撑

1.服务端和客户端框架代码编写 2.收发包线程代码编写 3.协议解析逻辑实现 4.线程管理脚本实现 5.进程启动脚本实现

项目描述： 微租赁是平安租赁推出的为小微企业客户提供在线租赁服务的 APP ，包括合同管理、寄件查询、智能提醒、发票验真等相关服务与功能，微租赁为客户打造一个线上自助查询服务，是客户服务与关怀的租赁服务中心。 职责：合同管理，客户管理，授信管理，进项票管理，人员管理等。 项目描述： 主要职责：1.业务管理 1）业务线配置 2）业务线基础配置 2.商户管理 1）商户注册 2）商品管理 3）商户结算配置 3.用户管理 1）用户注册 2）划拨明细管理 4.交易管理 1）充值明细管理 2）账号余额管理 3）账号出入金管理 5.对账管理 1）商户对账管理 2）对账通道管理 3）通道对账异常明细 4）通道对账单下载 6.结算管理 1)结算管理 职责： 项目管理以及后端开发

1、完成 HDFS+YARN+MR+HIVE 相关的系统搭建 以及CentOS相关环境的维护 2、SHELL + LINUX 熟知 3、熟悉数仓+ 数据资源池+数据湖相关的架构 4、对传统关系型数据库、NOSQL数据库 比较熟悉 5、熟悉Python 相关知识 包括数据初步解析、数据爬虫、词语拆解等

本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而H

基于f-stack矿机实现的高性能负载均衡 负责数据转发模块功能，比如ip包的重组和分片 技术难点是需要对ip层的协议熟悉，熟悉dpdk对数据包的处理等

1.号码市场,靓号推送 2.财务管理, 采购管理, 黑名单管理 3.开放平台接口对接 4.CRM客户关系管理 5.仓储管理 6.权限集中管理

完成电商管理系统核心功能的开发和上线 熟悉spring源码，linux系统，zk和nginx等中间件，能快速解决项目中遇到的疑难问题，比如项目中请求乱码问题，支付回调异常问题，多线程问题

该项目基于 App 和网站的启动访问(用户行为)日志，以及业务交互日志，围绕 Hadoop+Hive 搭建用户行 为数仓和业务数仓，使用 HSQL，SparkSQL 对数据进行清洗，分层解耦，建模，分析得到各项指标，提取有价值的 信息，协助完成客户报表系统，涉及的技术栈为Hdfs + Zookeeper +Flume + Kafka + Hive +Mysql + Datax+ Dolphinscheduler

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

在项目中负责钉钉对接API接口实现前端考勤模块页面 以及后端java工程代码 还负责复杂excel导出功能 做过用户管理，角色管理，JWT登录 spring security配置等等 由于设计公司隐私简单用几张照片吧

本项目主要是应对Hadoop生态体系组件的日常运维，包括部署、扩容、灰度上线、状态检查等，以及提供HDFS、hive、hbase等工具包，包括HBase region迁移，热点定位，创建表等工具包。 该项目主要是使用ansible进行统一管理，编写ansible playbook进行自动化工作。

职责：团队负责人、数据库表设计、各模块搭建及设计、核心模板开发 主要内容：（1）数据采集（2）数据处理（3）流程调度（4）检验评估（前端控制任意时间段检验 评估和定期评估）、生成评估报告（任意时间段和定期报告）（5）产品统计（6）产品及评估结果 显示。 技术路线：SpringBoot + SpringMVC + Mybatis + 虚谷数据库 + Netty + SpringSecurity + Lay ui + openlayers + python+docker + shell 个人成长：（1）通过配置.ini文件，增加需要下载的数据，设置开关（是否向MQ发消息，是否存文 件索引），设计出一套通用的数据下载程序。支持公司所有项目的数据下载，支持历史数据和实时数 据下载（2）通过配置ini文件，配置需要处理的数据属性，执行的命令，动态匹配文件，执行 python脚本。（3）通过配置.ini文件和xml文件，将被检验数据和检验源数据一一匹配，插入和更新 到数据库。（4）通过配置yml文件，支持不同数据、不同时间尺度、不同区域、不同数据源、不同 插值算法的检验评估，使用parallelS