基于python的网络爬虫

我要开发同款

proginn18481868972023年09月16日

58阅读

所属分类 PC网站、博客

作品详情

通过使用python对指定网站进行数据爬取，主要涉及到国外32个网站。包括twitter、Facebook、reddit、flightaware等等，并解决了其中的涉及到的反爬机制。

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

proginn1848186897

2天前在线

职业方向：C++开发工程师

项目报价：全职 · 800/日 · 17400/月

联系方式：立即查看

服务企业：0家

累计提交：0工时

查看主页

分类

图形和图像工具服务框架/平台 jQuery Tooltips HTML5开发相关 Serverless 系统 jQuery图片展示/幻灯插件数据库建模 P2P/BT 缓存服务器相册/照片/多媒体系统 Dart 数据库管理工具作业/任务调度企业ERP/CRM/进销存 IDEA插件

推荐作品

基于IP地址的DNS调度系统

对于用户的请求，首先会根据其IP地址获取对应的地区信息，然后再在redis缓存中进行查询，如果缓存中可以找到则直接返回数据，如果没有找到则会在mysql数据库中查询，查询成功则返回对应类型的数据。此外整个DNS服务器还实现了对DNS协议的解析和构建，支持UDP、 TCP、IPV4、IPV6的查询，支持对于SOA、CNAME、A、AAAA、NS等记录的访问，支持域名压缩功能，隐藏CNAME等功能。在2核4G单机情况下，进行测试，整个服务器性能平均在6wQPS左右。

分销管理系统

开发环境：idea + webstorm + mysql ◆ 项目介绍：分销管理系统中的业务包括基础资料维护、向供应商的采购业务、对分销商的销售业务、对终端顾客的零售业务、及公司本身的订配货业务，助力企业实现全渠道分销。 ◆ 技术选型：项目基于 ssm 整合框架开发。mysql 做为后台数据库，后台接口 restful 风格编写，跨域认证解决方案是 jwt 的认证授权机制。前端通过 vite 快速搭建开发环境，使用 vue 框架以及 vue-router 构建单页面应用，使用 axiox 组件调用后台接口实现数据交互。

学院管理系统

2.01 - 2022.06 学院信息管理系统全栈开发 ◆ 开发环境：visual studio + visual studio code + sqlserver ◆ 项目介绍：为完成学生信息的规范管理、科学统计、快速查询以及保存更新，该系统实现了学生信息管理工作的系统化和自动化，从而减少学生管理方面的工作量并提高工作效率。 ◆ 开发描述：项目使用一种业务逻辑、数据模型与界面显示分离的 .net mvc 设计模式开发，负责优化前端页面性能和页面美观，编写封装良好的前端 ajax 组件与后台进行数据交互，实现学生信息、学生成绩信息和教职工信息的查询、新增、修改、删除、录入和导出功能。

后台管理系统

本人乐观开朗，善于沟通，做事认真，逻辑思维清晰，喜欢迎接新的挑战。学习能力也可以，能够快速胜任不同领域的工作。

k8s 大型项目维护，cicd

k8s 大型项目规划，搭建后期维护，企业级监控系统实现，监控系统的二次开发经验，常用中间件的维护，常用数据库操作，jingtongpython