Python

背景：公司各个业务线，会生产很多的日志，包括前端的打点上报日志、监控日志、后台的埋点日志 和业务系统的运行日志等，这些日志分布在不同的机器上，会做不同的处理，包括日志检索、性能监控、ETL入库等，这些操作都需要把日志采集到不同的服务中去，包括Kafka、hive、hdfs和ES等。这 些操作就需要一个统一的平台来进行处理，为了解决这一个问题，我们开发了日志收集平台。 负责：平台的方案设计，整个后端系统的开发, Flume二次开发(传输速率限制,大日志过滤,传输进度, 日志done标记,COS、OSS和BOS的sink组件,支持备用kafka集群等) 技术栈：Python、Flume、Tornado(Python web框架)、JAVA

背景：原有搜索离线流使用的神马提供的基础服务（流计算平台、批处理、KV存储）；不再升级，问题多（性能低、编译问题、中间件不支持等）；整体架构迁移bink+odps 实现：存储选型table-store，流计算选blink（支持流批一体），聚合计算odps；重构常用插件，对业务复杂的c++插件，使用jna方式调用；词典依赖多内存大的插件，去sm化单独部署提供http服务；老的流程双写（写sm-db、table-store）、核心流程迁移、数据diff、上线流程

1. Excel可视化+Excel数据透视表+数据分析、13种基础图表 2. 商业数据分析师的R语言，Python , SQL, panda, numpy， 数据分析、挖掘、清洗、可视化

京东自动注册； 具有自动点击；自动输入内容的功能; 帮助其完成一系列复杂而又简单的操作； 使用了面向对象，XML路径语言，WEB自动化工具

1.需求：从用户提供的文章链接中生成摘要。 3.实现方案：信息框是一个模板，用于收集和呈现关于主题的信息子集。它可以被描述为一个包含一组属性值对的结构化文档，在维基百科中，它代表了一篇文章主题的信息摘要。 所以维基百科信息框是一个固定格式的表格，通常被添加到文章的右上角，以表示该维基页面的摘要文章，有时也是为了改善对其他相关文章的导航。 使用爬虫获取文章数据，通过提取生成摘要。

项目功能模块：数据仓库、ETL工具、数据转换、数据处理、前端BI展示、智能推荐系统 上述模块中主要技术均为本人完成：数据仓库（Hadoop Hive）平台搭建与性能优化；DataX & Kettle脚本开发；Spark-SQL & Python实现数据转换、数据处理；Python Matplotlib、Streamlit、Plotly数据可视化；智能推荐系统的User、Item侧分类与标签，User、Item侧的协同过滤算法，LFM模型、双塔、Wide & Deep等模型实现召回与精排；

个人空闲时间写的，主要功能是可以通过扫描二维码完成手机和客户端文件的同步 1 手机扫描二维码完成文件的上传和下载，支持多文件上传 2 通过url加sign参数保证数据安全

利用python开发数据分析、深度学习程序； 利用pandas、numpy进行数据清洗和数据处理； 利用SciPy、Scikit-Learn进行数据分析程序开发； 利用Tensorflow、Keras进行深度学习模型开发； 利用seaborn、matplotlib、streamlit实现数据可视化开发；

益鸟房屋多方对接系统是把推单人员，房主，客服人员，签单店长，维修师傅，财务人员连接在一起共同完成房屋改造的订单管理系统， 具体流程：推单人员通过推客宝盒小程序推单，客服通过后台客服系统派单给附近店长，店长通过店长app接单，并上门报价，签约收款，并指派师傅施工，师傅通过师傅端app上传施工图片并完工，然后财务结算工资（用友财务软件）。 核心模块：客服系统手动或智能派单模块，客服系统自动跟踪订单进展情况模块，录入订单模块，上门打卡模块，智能报价 模块，电子合同签约模块，在线支付模块，智能提醒模块，智能预算利润模块，财务报表模块，材料管理，费用报销，工费模块，节点验收模 块，质保卡管理，营销模块，智能返佣金模块等 主要工作： 1.通过和系统中各个角色的人员沟通，收集以及分析需求 2.参与需求讨论，分析，和设计，评审 3.参与开发对需求的数据库设计，程序设计讨论，分析，评审 4.编写评审测试用例以及执行测试用例 5.系统各个端口的数据和更新 6.系统bug的分析，管理和维护 7.使用python 单元测试编写接口测试 8.编写mysql语句对系统沉淀数据的统计分析，导出 业绩: 独立完成益

对网站网页进行翻页爬取; 自动保存采集信息。 使用了库; 使用了一定程度的反爬； 采集的数据完整, 可以使用。

背景：随着数据中台的数据沉淀，整个数据中台的数据分布在不同的集群、不同的表中。对于数据使 用着来说，当前有那些表，怎样查询这些表，是一个问题。对于数仓来说，表的来源有那些，表是否 就绪，怎么方便的修改表等，是一个问题。而对于数据中台来说，怎样给用户赋权，怎样规范表的创 建，怎样管理表和数据的生命周期等，是一个问题。为了解决这个问题，自研了数据地图这个平台。 负责：部分功能开发(Druid元数据的接入，HIVE元数据接入，血缘管理，表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid)，表热度监控，表存储大小监控) 负责：部分功能开发(Druid元数据的接入，HIVE元数据接入，血缘管理，表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid)，表热度监控，表存储大小监控) 技术栈：Python, Tornado(Python web框架), JAVA

爬虫抓取网页链接，并且自动生成表格档文件，自动录入database系统，调用openai API自动化分析管理，实现定制化的体验，实现数据全分析，内容全管理，列表随心看，链接随时开，真正实现超级生产力

在大型Java-Web项目中担任测试，涉及测试内容包含： 1、安全测试 2、功能测试 3、性能测试 4、韧性测试 5、编写python测试工具

随着大数据时代数据的日益囤积，企业应该在更大程度上利用客户销售数据来了解目标客户，并做出更好的库存决策。我们的桌面应用程序旨在帮助企业分析对某些产品的需求，并根据来自不同国家的销售方销售的产品数量做出有效的库存决策，并考虑到每个国家的最佳销量比率和每个销售方的平均销量等因素。此外，它还可以预测了客户是否会接受新产品来增加产品的销售。 我们的目标是根据客户所提供的信息，对他们进行分类和贴上标签，以预测他们是否有可能购买金融产品，以及他们是否需要积极销售。这将使我们能够对客户进行精确的营销，并提高产品的销售。我们计划利用这些结果来增加对高价值客户的营销努力，并通过将客户分成群体来降低营销成本。 我们的项目旨在开发一个使用PyQt5桌面应用程序的销售预测系统。该系统将使用熊猫进行数据预处理，使用随机森林进行特征选择，并使用Logistic回归进行分类。我们还将编辑.csv文件，并在PyQt5上部署该应用程序。 数据预处理：该程序将以一个.csv文件作为输入，并使用panda将数据处理成一种模型可以被训练和预测的格式。 特征选择：我们将使用随机森林对特征的重要性进行排序，并选择重要性较高的特征

为满足公司大规模自动化任务的需求，参考Celery等框架，我设计了符合公司业务场景的自动化任务系统。 1 利用Chocolatey实现软件自动更新、自动打包与发布，以及自动完成相关依赖的安装。 2 将功能抽象为独立的服务，可配置自动化机器执行哪些服务，同时满足互斥服务的运行，如UE。 3 通过标签、机器性能、运行任务数、任务执行情况等因素，为每个机器打分，实现调度器智能调度任务。 4 Worker端同步线上任务，完成任务后同步到服务器，异常中断时自动重试。 5 Monitor端负责软件更新、清除任务执行中的弹框、进行清理工作，同时上报机器状态。 6 实现任务执行过程中的日志收集、上传和线上查看功能。 7 接入Sentry，便于分析错误和异常。

实现影棚当天拍摄任务的获取，中控台控制客户端启停，完成演员表演拍摄。 1 使用gRPC控制客户端拍摄的启停功能。 2 利用NDI实现音视频数据的预览和传输。 3 客户端支持60帧定帧拍摄功能。 4 实现多客户端画面与声音的集成预览。 5 演员与角色的智能匹配功能。

1.需求：公司某岗位需要定期群发邮件； 2.编程语言：python； 3.采用selenium库，用无可视化界面浏览器，设定好邮箱登录账号密码以及邮件发送的动作，建立脚本和任务计划程序，不需要手动启动程序，在指定时间内，脚本自动运行发送邮件给指定邮箱。

Analytical X是一款树节点数据分析平台，可实现界面实时动态交互(核心Jupyter)，客户登录后，可以定制化工具模块，进行工具模块间的自由搭配，修正，维护，最快速的完成功能测评并输出报告 业绩: 用户模块(登录、注册、修改密码、邮箱验证码)； 项目|节点模块(增删改查，合并、行为、结果执行)； 工具标签（定制化筛选数据）； 文件上传下载关于流输出； 界面实时性会话通信； 微服务Docker部署； overlayls、jupyter应用实践； 大内存memverge应用接口配置

该项目为国家电网舆情监测系统,对接新浪舆情通,获取互联网舆情内容,由我方进行智能语义分析等,将数据进行持久化,数据用于智能搜索,智能报表,智能大屏等功能,该项目主要实现了互联网电网相关舆情实时拉取，由智能识别模型判定而后将数据派发工单至客服专员处；该系统还实现了将原始数据及归档工单数据同步，智能识别判定并实现动态展现数据，系统将数据进行归纳统计生成定制化简报等功能； 本人主要负责: 1，负责系统架构设计，脚手架搭建，数据库设计，ES搭建，nginx搭建等； 2，负责数据服务的设计，主要包括外网数据拉取，数据穿透至内网，数据同步ES等功能； 3，负责开单服务的设计，主要包括工单筛选生成，工单派发，工单归档，工单同步等功能； 4，负责通知服务的设计，主要包括告警信息邮件发送，消息短信通知，消息企业微信通知，告警规则定制，简报定制推送、服务监控等功能； 5，负责查询服务的设计，主要包括智能分析数据，热点事件实时追踪，数据聚合导出，主动监测统计分析，数据智能判定，等级、情感，类型等智能识别，省市溯源聚合，定制化日周月报，简报推送等功能； 6，负责用户服务的设计，主要包括用户信息同步，权限管理，

编辑好邮件信息，批量提取表格中的邮箱进行发送，全自动，只需编辑好发送邮箱服务器的信息，就可一键批量密送到成千上万的邮箱中