开发背景 单个 Sqoop 任务只能接入单表或整库；我们要求全量数据接入，共 3000 多张表，Sqoop 单表接入弊端 是：大量的 Sqoop 脚本及其难配置、及其难维护，大量 sqoop 任务提交本地进程过多，yarn 任务并发 度问题，大量任务频繁启动、申请资源、销毁等问题 解决方案 基于 MapReduce 关系型数据库接入组件 DBDrivenInputFormat 源码二次开发，由单任务接入单表转变为 单任务接入整库 技术挑战 1.修改 DBDrivenInputFormat 源码 2.重构 getSplits，根据单表数据量大小规划整库的 split 3.制定通用的数据映射对象、切片对象、RecordReader 对象 4.实现一个 MapTask 导入单表数据或多个 MapTask 处理单表数据(单表数据过多大情况下)，最终输出到 不同的 Hive 表目录 实现效果 替代 sqoop 单表单任务，11 台计算节点，176cores、242memory，每天接入增量数据 500g，3000 张表， 稳定运行于 40-60min，提高运行效率 6-8

画像标签响应时长优化 背景：画像标签响应时长 P99 在 50ms 左右，一些响应时长要求较高的下游要求在 10ms 内，固需要优化 前期准备：加监控、收集日志，后期做方案设计、评估与可行性分析，P99 预计要达到 10ms 内 分析：通过监控、日志对标签进行分析，制定技术方案，并评估可行性 技术方案设计： 1、资源的评估、扩容 2、3 种缓存策略，评估与针对特定标签做不同的缓存策略，评估可行性与方案调研 3、仿真环境搭建，引流、压测 4、代码层方案 5、回滚方案，开关、脏数据清理方案 实施：代码层开发，仿真环境引流测试、验证 最终效果：总标签 P99 在 10ms 左右

1、元数据：全数仓 hive 表的元数据信息，包括表信息、字段信息描述、分区格式、创建人、维护人等，以及血缘依 赖 2、任务调度：etl 任务调度，包括 mysql 等关系数据库到数仓的数据同步，hive etl 的数据清洗，大多是为业务 方 抽取业务数据表，并最终配置任务调度 3、即席查询：用户自定义写 sql，执行成功后返回数据结果 4、自助报表：用户配置 sql，发送邮件数据报表 权限系统：控制用户的系统权限、hive 数据表权限等

项目功能模块 1、主界面：商店、成就、排行榜、分享等。 2、游戏核心玩法。 3、游戏数据存储 4、游戏功能测试。 5、发包：接入sdk Facebook和谷歌、广告接入、web、android分别打包发布。 难点：Facebook把战绩分享给好友。起初无法分享，经过多方查找原因，把UI图片经过处理转成Base64才分享成功 开发环境：windows、cocosCreate引擎、js、TS 负责的工作：除了美术资源，整个项目我一个人独立完成

1.主要搭建阿里云的云端数据库 2.云端数据库优势是即使使用，维护简单，易操作，数据不易丢失等优势 3.难点在于配置云端数据库的权限情况 4.配置好后可以正常使用

1.用网络爬虫工具爬取汽车之家汽车售价信息 2.过程中重点是梳理网站的结构和结构信息的提取 3.利用requests 和 pands 以及etree.xpath来提取和进行持久化的数据储存

诺宇商城是一个基于Hyperf开发的综合型电子商务平台，涵盖的功能除了基础电商模块（如商品、加购、订单、支 付、售后等），还有完善的会员体系、营销体系、消息系统以及特殊的礼品卡回收服务。

项目介绍：该项目是基于微服务架构的教学系统，提供集实训教学管理、团队管理、大数据工作台、数据采集与治 理、资源管理于一体，满足科研和实训流程上的项目管控、进度把控、任务分配、资源分配、数据分析、成果管理等需 求，服务于20000余名学生与教师。 应用技术：SpringBoot、Nacos、Spring Cloud Gateway、OpenFeign、MySQL、Security&JWT、MyBatisPlus、Redis 工作内容： 定时同步第三方数据库 负责首页、系统管理、门户管理三个模块开发 接入第三方统一身份认证接口，实现其他平台用户登录

1:1还原设计稿，还原原生开发App的功能（使用H5的方式来逃避市场规则对NFT App支付的限制。绕过ios支付扣除30%手续费的差价，开发了H5版本App），对接银联、支付宝、连连支付。 优化操作逻辑、封装公共组件、对App访问安全性和性能进行配置。

后端接口开发。数据库mysql,mongodb,缓存redis等，oss中间件存储，后端框架用的是spring-boot,dubbo微服务，mybatis-plus。

通过对互联网上公开面的媒体新闻信息进行精准采集、归类、排重和分析，支撑客户更加准确的掌握各类新闻传播的数量、范围、趋势、影响等情况，最终形成一套科学、全面、高效的全球互联网媒体新闻监测体系。主要模块分为： 1.网站新闻采集 2.新闻数据清洗、外文翻译、关键词提取 3.界面展现

开发环境：Idea、JDK1.8、Tomcat7、Mysql5.7、Maven、Git 软件架构：SpringBoot + Redis + SMS + OSS + Jenkins + K8S + Apollo 项目简介： 本项目是对接wework公司对外的人员招聘平台，采用增量的开发模型，共分为三期 工程，参与了前两期工程实现。 项目主要有职位模块，简历模块、宣讲模块、短信、邮件通知模块、云存储模块、企 业管理、人员管理，权限系统，并有PC后台管理端、PC用户端，手机浏览器及微信 小程序完整的一套人员信息招聘平台。 责任描述： 负责前期数据库的设计及后端环境搭建 主导项目技术管理、任务同步及分配，以及部署相关工作 利用nginx实现反向代理及Gzip压缩 gqouBnkA202210221137 负责系统中人员信息鉴权的实现，接口异常通知，及企业模块、短信模块的开发 技术描述： 通过自定义Security实现注解对任意请求权限赋值，解决了企业用户认证流程未完成 等异常情况下审核判断 使用AspectJ拓展swagger注解功能，实现接口异常邮箱推送，提高了开发环境下接 口异常信息及时通

使用vue2 + elementUI快速搭建开发的项目。 方便医生给挂号的病人开方，诊断。使用axios请求数据并展示。接入websocket实现聊天功能，接入声网视频通话功能。

灵鹿推(后端负责人&后端开发) 项目描述：一款专注于内推招聘解决方案的Saas产品，根据用户种类可以分为微信小程序、H5端、职位 管理端及租户管理端。目前已有特斯拉、顺丰、豆瓣等多家公司使用。 技术架构：SpringBoot、SpringCloudAlibaba、Nacos、OpenFeign、RabbitMQ、MyBatis-Plus、 MyCat、Kubernetes 责任描述：  负责项目前期的技术方案设计、架构设计、环境搭建、后端任务分配及排期。  项目中期主导项目技术管理，并负责登录、邮件通知，支付、集成微信服务平台功能的技术方案设 计与实现。  在项目维护期间，负责服务拆分，通过重构从单机架构转向微服务。 技术描述：  使用消息中间件RabbtiMQ实现对高频邮件的异步发送。  利用Redis实现分布式锁实现了对支付金额的控制，同时利用Redis的缓存机制，提高了用户读取 数据的效率。  通过应用Spring Aop+自定义注解实现自定义异常的邮件提醒。 解决过的较经典问题：  通过生产、消费日志表以及定时任务补偿机制保证了邮件的可靠发送与幂等。  通过Re

项目大体可分为首页，挂号区，聊天部分和直播连线功能。 首页挂号区使用flex布局，适配各种机型保证样式不变。聊天部分利用signalR.js通讯实现无延迟实时聊天。直播部分功能引入声网小程序直播SDK进行推流拉流。

项目介绍：该项目是一个文章网站的后台管理系统，可以实现用户的注册和登录，可以在首页查看网站月新增文章数和 分类文章数量比，可以新增文章的类别、可以编辑文章和发布文章，个人中心内可以修改昵称、邮箱、密码和头像 项目技术：vite + vue-router + axios + layui + echarts + vue-cropper + vue3-tinymce 项目负责： 1.使用echarts实现了首页统计图的绘制 2.使用vue-cropper实现了头像的裁剪和修改 3.使用vue3-tinymce实现了文章的富文本编辑器 项目难点：图片的裁剪和存储，富文本的获取和存储 项目收获：熟悉了echarts的使用，学会了上传图片转换为base64格式的数据，学会了base64数据和富文本的存储

项目介绍：某个蛋糕网站的后台管理系统，可以实现超级管理员、管理员和普通员工的登录，超级管理员可以进行所有 操作，可以创建管理员和普通员工的账号进行分配，管理员可以管理商品，创建商品分类和商品详情 项目技术：umijs + ts + LeanCloud + 高度地图API 项目负责： 1.使用React的umijs框架搭建的项目 2.使用LeanCloud云服务管理后端数据，实现数据的增删改查 3.使用umi内置的dva实现公共状态的管理 4.使用umi内置的access实现对于不同角色访问权限的控制 5.使用高德地图API实现配送范围的绘制 项目难点：不同角色权限控制和实现，状态的集中管理 项目收获：熟悉了umijs及其内置插件的使用，理解了角色权限分配的逻辑，熟悉了使用dva对于状态的管理

该项目为移动端商城项目，使用原生微信小程序开发，适配各个大小屏幕机型。 项目大体分为：首页、购物车、商品列表和订单列表。内嵌聊天功能，通过webSocket实现。整体前端部分均为本人独立开发。

微服务框架，用户中心，订单中心，充电中心，钱包，配置，PC管理，活动中心，运营管理，视频监控，实时数据，充电祥情，充电分析。

虚拟仿真西门子火力发电水解设备系统运行。虚拟仿真每一个单设备的功能，并开发仿真设备系统编辑器。用户可以根据实际系统情况进行设备组装。 实时采集各个火力发电站的设备数据，并对数据进行判断和预测。