Python

基于python+selenium+beautifulsoup的网页爬虫，实现完全模拟人工操作的，所见即所得的网页数据爬取。能够正确处理弹窗，对话框多标签页面等，实现了基于图像分析的高效的自动滑块校验。 自主开发的基础框架基于元数据获取、数据清洗、数据加工和报告生成的模型，已经实现单个网站几十万条网页数据的爬取，以及多达数千个关联网站的信息获取、归纳和汇总。目前框架已经日趋成熟，可以在较短时间完成新的数据爬取需求。

(1)工作内容：Python中使用odoo框架开发MES (2)所使用的技术：python、Linux、odoo、postgres、xml (3)所做的大概功能模块： 1、实现收发货逻辑及流程和产品库存的查询。 2、收货报表和发货报表的导入与导出。 3、登录实现双因子验证。 4、与其他数据源的交互与接口开发，从oracle数据库同步员工信息、采购订单与采购发票等。 5、给相应员工发送库存提醒邮件和标签冻结邮件。

亮品购是一个以销售自产酒类为主，拓展经销代理商的平台，系统支持各地经销商在平台购买礼包（酒类），以提升经销商级别，从而可从下级经销商中提取更多分成（只支持两级） 系统包含：单独购买，精品秒杀，礼包购买，积分兑换等功能

项目：道客云-大数据云原生化平台 时间：2022年3月--2023年6月 技术选型: Kubenetes+Docker+hdfs+yarn+hive+spark+hbase+zookeeper+kafka+hue+promethus+TiDB 语言构成：java/shell/go 项目描述： 为应对数据上云的趋势和需求，合理整合云原生技术的架构设计和大数据处理平台，充分利用云计算资源，使大数据集群具有良好的弹性、可扩展性和自动化管理能力，为大数据应用提供高效、可靠的支持而搭建。 项目职责： 1.调研kafka/hdfs/spark等组件的部署及在云原生化的环境下，组件所产生的依赖、通信、环境兼容等问题，提出意见和解决方案； 2.针对云原生的NFS等StorageClass所存在的高并发、性能瓶颈问题，建议更换为longhorn/piraeus等存储组件，并给出测试数据及应对方案; 3.根据集群状态和metrics接口，对接pomethus和TiDB，实现集群状态可视化，同时统一管理日志，最大程度减轻运维压力。 4.针对部署过程中的发生难点，如HDFS-HA以pod形式部署时，产生的具

该项目主要用于手机客户云资源信息，并且针对云资源各个场景进行检测，提醒客户云资源的异常情况 项目主要用python编写 我主要负责查询阿里云，腾讯云文档，按照主管要求编写检测逻辑

个人大数据平台是一款在支付宝上线的用于查询个人征信（大数据）的小程序，在合规授权的前提下，用户提交人脸识别后，平台返回用户的大数据信息

通过接口，实时获取芝加哥期货交易所数据，tick数据秒级，策略复合集成，策略参数配置，实现多单，空单交易，反手做多，反手做空，移动止损，回测等功能，可以人工干预，停止交易，手动做多单，手动做空单

使用富途的APi，拉取基础数据，进行定时量化计算，基于日K和周K的数据，根据自定义公式策略进行博弈表计算。 对单股票和进行自定参数的配置

此文本标注工具，可以用它为NLP任务的语料库进行打标。它支持情感分析，命名实体识别，文本摘要等任务。提供一个直观的用户界面，使标注人员能够轻松地对文本数据进行标注。 工具包含：多种标注类型，协作标注，快速导入和导出，自定义标签，实时预览和反馈，标注统计和质量评估，可扩展性和自定义性等

自主开发爬虫补环境框架可以提高爬虫效率和稳定性，快速解决逆向问题，确保数据的准确性和及时性。 搭建补环境框架，用JS模拟浏览器基于原型链去伪造实现各个BOM、DOM对象，然后将这些JS组织起来，形成一个纯JS丐版浏览器环境，我们补的纯JS丐版浏览器环境越完善，就越接近真实浏览器环境，能通杀的js环境检测就越多。最终完美通杀所有JS环境检测！！

项目主要使用python flask开发，运用分布式架构，主要为公司内部数据库工程师服务，统一管理资源，包括资源监控，推送任务，图形化操作数据库等 我主要负责维护后端和以及少量前端任务

60%解析网页数据，进行相关数据的提取 40%进行自动登录，发包过滑块验证，没有用到selenium 因为需要登录，通过发包的形式自动过滑块验证码

搭载网络摄像头的移动车辆，拍摄行驶过程中的视频，此项目根据摄像头传递的视频流检测路牙石破损、非机动车行驶在机动车道、行人乱穿马路和积水等违规行为。根据视频流中的实际情况采取不同的策略进行数据集标注，训练违规识别算法、车道线检测算法、以及重复违规过滤算法来达到最终的效果。 我的工作： 1.数据标注：将摄像头中的视频流进行固定间隔帧裁剪，根据违规项进行违规标记；将车道线按照不同的类型进行标记。 2.训练算法：违规项使用yolo5进行训练识别；使用Ultra-Fast-Lane-Detection算法训练项目实际的车道线类型。 3.制作tusimple数据集：将自己的数据集制作成tusimple数据集。 4.系统搭建：搭建可供算法运行的后端运行框架，实现主机开机算法自启动功能。 效果：达到验收标准，在实际生活中成功运行。

1.基于gpt4all小模型 2.单机部署，随意使用 3.拥有向量数据库和余弦相似性测算功能，答案更精准 从数据私有化，到prompt向量库匹配，再到查询，一条龙服务，单机部署，极简操作

60%进行1688工厂数据的采集，采集到相关类型的企业的工厂数据 40%JS逆向出token参数，过反爬，进行相应的数据采集，从而实现全自动爬虫

此系统是为远洋船只提供的一套全天候生活保障系统，包含硬件和软件部分，技术平台优先使用国产部件。 系统包含：系统管理，人员管理，时事新闻，学习中心，基层热点，问卷调查，领导信箱，数字资源等

项目1.通过python将jpg图片合成pdf文件，实现了批量合成的功能。 项目2.通过python将jpg图片转换txt文字，实现了批量转换的功能。 项目可以实现以上功能，经过实际检验。20230825 VX 15850109865

项目为根据设置通过工厂模式生成多个对应的城市碳交易所爬虫对象，然后进行数据爬取，最后生成规范化数据，并将数据保存到设置指定的文件夹。这是我为了个人方便编写的爬虫，全部由本人开发。

项目：道客云-大数据云原生化平台 时间：2022年3月--2023年6月 技术选型: Kubenetes+Docker+hdfs+yarn+hive+spark+hbase+zookeeper+kafka+hue+promethus+TiDB 语言构成：java/shell/go 项目描述： 为应对数据上云的趋势和需求，合理整合云原生技术的架构设计和大数据处理平台，充分利用云计算资源，使大数据集群具有良好的弹性、可扩展性和自动化管理能力，为大数据应用提供高效、可靠的支持而搭建。 项目职责： 1.调研kafka/hdfs/spark等组件的部署及在云原生化的环境下，组件所产生的依赖、通信、环境兼容等问题，提出意见和解决方案； 2.针对云原生的NFS等StorageClass所存在的高并发、性能瓶颈问题，建议更换为longhorn/piraeus等存储组件，并给出测试数据及应对方案; 3.根据集群状态和metrics接口，对接pomethus和TiDB，实现集群状态可视化，同时统一管理日志，最大程度减轻运维压力。 4.针对部署过程中的发生难点，如HDFS-HA以pod形式部署时，产生的具

(1)工作内容：Python中使用odoo框架开发WMS系统 (2)所使用的技术：python、Linux、odoo、postgres、xml (3)所做的大概功能模块： 1、实现收发货逻辑及流程和产品库存的查询。 2、收货报表和发货报表的导入与导出。 3、基础资料的维护页面。 4、实现来料检和出货检及生产清料。 5、实现生产追溯报表，可成品追溯和原材料追溯