网页数据采集

我要开发同款

proginn14410942172022年08月24日

99阅读

作品详情

采用模块 requests json re csvrequests 获取数据json 转换某些格式re 获取格式中的内容csv 来保存需要的数据难点 json数据获取

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

proginn1441094217

职业方向：网页管理

项目报价：全职 · 300/日 · 6525/月

联系方式：立即查看

服务企业：0家

累计提交：0工时

查看主页

分类

开源汽车/车载系统 Basic jQuery图片展示/幻灯插件电子电路设计软件 Activity 蓝牙开发动画(Animation)Tomcat 扩展项目数据备份 D语言 AngularJS 扩展压缩算法微信小程序界面原型设计工具 jQuery图像处理

推荐作品

YMS项目

项目分为订单系统，支付系统，后台运营系统以及工厂系统。其中我主要负责的是整个项目的重构。由单体项目拆分为微服务项目。过程中，比较麻烦的是，所有配置文件的整理与归类、模块的拆分，模块边界的界定以及新老系统的兼容运行。其中模块的拆分，主要是通过各个模块流量监控，以及业务的分离来实现的。

IOT平台

IOT平台，分为iot-init , iot-service , iot-properties,iot-pass，socket-server等模块。其实现了物联网中设备的初始化，注册，登录，以及设备和服务器的通讯，上报心跳等等功能。其中比较困难的地方在于设备与服务器保持链接，需要保证设备链接的服务器IP不会经常漂移，同时，在服务器宕机后需要及时将设备路由到其他的服务器。

江西电信BSS3.0系统

项目简介：BSS 3.0按照业务聚合特征构建各能力中心，包括CPCP配置能力中心、客户能力中心、受理能力中心、采预能力中心、批价能力中心、策略能力中心、账务能力中心和客户查询能力中心，统一接口中心，营销资源中心等多个中心服务。技术栈：系统采用微服务分布式架构，使用dubbo进行服务调用，中心单体程序使用springboot，缓存使用redis，数据库使用mycat中间件和mysql做分库分表。工作描述：江西省内和电信集团数据接口交互，统一接口功能设计、开发、联调测试，受理中心功能设计、开发、联调测试。

联想商城

项目分为订单模块，支付模块，商品模块，仓储物流系统。其中我负责订单模块的开发和维护。其中解决了分布式事务的问题，订单重复消费的问题，超卖问题等。其中，订单重复问题使用幂等的方式解决，分布式事务通过业务中捕获一场手动回滚，以及本地消息表的方式去解决。

全运会PAAS平台、一码通、核酸、疫苗系统、婚庆商城、租房平台、自助就医平台

1、例如全运会，带团队负责容器部署研究，从docker-k8s-rancher技术栈攻关，使的全运会相关的赛事系统、天气系统、交通系统等落地部署运行在我们的PAAS平台，并提供之间的接口对接、运维日志、展示大屏、统计等达到统一管理，协调调度。 2、比如租房系统实现租户、业主、平台保洁等点对点线上沟通、签约、支付等流程。