数据采集-爬虫类项目

ace9955662023年05月19日22阅读

该作品主要是由于科研和各种工作需要，从各类渠道爬取数据，包括从区块链浏览器中爬取关于加密数字货币的数据，从视频网站爬取视频，从论坛中爬取各类帖子等

爬虫

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营。

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

ace995566

9天前在线

职业方向：运营专员

项目报价：全职 · 500/日 · 10875/月

联系方式：立即查看

服务企业：3家

累计提交：1工时

雇佣他

分类

短信API SNS社交电商游戏 UI设计人工智能 3C CMS 政府文化教育 H5网站微信小程序 IT 智能硬件金融

推荐作品

智慧社区

项目全部模块： 1.基础数据采集与基础共享平台功能：１、人口信息模块包括：人口信息、常住人口、流入人口。２、单位信息模块包括：单位信息、行政机关、事业单位、工商企业、特殊行业和沿街门店、３、党群建设模块包括：党组织信息、党员信息、社会职务。４、人口计生模块包括：生育证、独生子女证、流动人口婚育证和留守儿童。 5、房屋管理模块包括：小区信息、楼栋信息和房屋信息。 6、特殊人群模块包括：刑释解教人员、从事邪教人员、长期涉法涉诉、服刑人员、两劳回归人员和社区矫正对象。 7、民政优抚模块包括：低保人员、优抚人员、五保供养和老年信息和空巢老人。 8、志愿服务模块包括：志愿者服务队伍信息。 2.事件处理平台 2.1事件监督指挥 2.2事件登记 2.3代办事件及查询 2.4事件详情及处理 3.移动应用APP系统功能： 1、能够统计辖区范围内的人口、房屋、单位等统计数据汇总； 2、根据不同的查询条件，对社区人口进行查询、查看； 3、对现场进行的拍照、录像和事件相关描述等操作，并且上报到系统管理员； 4、待办事件、核实任务、核查任务的查询、处理； 5、能够通过手机查看社区地图并且进行当前位置的定位； 6、可以通过移动终端记录自己的巡查日志，新增、查看、编辑日志； 7、终端与管理中心信息平台同步，保证每一个上报的问题得到及时反馈和解决，做好事件的跟踪和记录。 4.考核评估平台 1.电子监察各部门领导可在事件处理过程中进行网上督察事情全部流程，并进行实时纠正 2.综合考核结合日常工作的考核统计（网格员考核统计、机构考核统计、部门考核统计）、考核自评及考评上报、事件督办、分年度的考核标准管理 5.研判分析平台能够让领导一目了然的看到各个机构对管辖范围内各类人口和事件的统计情况，起到辅助决策的作用 6.指挥中心公告的管理、通知管理、个人通知、短信发送（手机短信发送、短信分类发送）。 1、公安的天网视频监管内嵌于系统平台中。 2、短信分类发送：可以自定义通讯录分类和名单，分类发送信息。 3、GPS定位监控，可实时监控到GPS工作人员的实时位置，并可播放其历史轨迹。 7.综治维稳平台主要采集全区重点人员、流动人口、出租屋和安全生产的内容，录入系统之后供职能部门了解全区综治维稳情况，做到防范于未然 8.人就计生平台对计生不同信息进行有效管理，包括育龄妇女、失独家庭、农村奖扶对象进行管理、包括可分孩次查询、计生分类查询和计生业务提醒等 9.社会事务平台对民政业务涉及的人群和事务进行综合管理，包括低保人员。优抚人员、五保供养、老年信息、空巢老人、志愿者服务队伍信息等 10.智慧党建平台主要实现党建地图、党组织管理、党员管理、组织生活、群众服务、星际评定、统计分析、互动交流、学习教育、党务公开等功能，分为一个党建管理平台，一个智慧党建公开网、一个党建微信服务号 11.精准扶贫平台精准扶贫是粗放扶贫的对称是指对不同贫困区域环境、不同贫困农户状况，运用科学有效程序对扶贫对象实施精确识别、精确帮扶、精确管理的治贫方式四个主要方面： 1. 底层扶贫数据统一录入，统一管理 2. 实现贫困信息与帮扶干部信息对接 3. 简历扶贫网，同时才去干部与贫困户面对面扶贫 4. 利用手机端实现移动签到，帮扶任务接受和反馈该平台由精准扶贫后台、精准扶贫网、使用APP端构成 12.安监消防平台风险源进行分类分目录管理、设置排查周期和排查内容、网格化进行周期排查、社区人员进行抽查、领导人员可查看抽查情况，排查不通过可生成隐患并进行隐患整改跟踪管理 13.应急调度平台应急管理平台为例处理比较紧急或重大的事件，主要通过事件的电话受理、核查回复、启动应急预案、应急的终止等纪录应急事件的全过程 14.日常工作平台对社会管理部门的日常工作所涉及的报表、台账、文件、资源进行电子化管理，实现上下级流转体系具体负责模块： 1、事件处理平台（大致流程：上报-》受理-》分流-》办理-》反馈-》结案）功能：动态事件展示、事件列表、结案事件、申请退办事件、分流事件、上报事件、事件登记、事件统计（事件处理过程中领导可以督办和点评）事件处理流程：各个网格的信息事件，可以直接处理并结案，如果处理不了的可以随机逐级上报到社区工作站、街道服务指挥中心、区级服务指挥中心，然后各级再分发到各级职能部门进行处理，处理完进行反馈事件来源可以是系统手动建立，也可以是各个移动端提交 1.1、事件监督指挥（前端登录时查询用户表中用户名在部门表中是当前部门的顶级部门中的负责人，如果是可以显示监督指挥的页面，并查询出事件中所有状态的数据）领导可以通过该功能实时查看全区内正在发生或者是已经发生的事件分布情况，点击可以查看事件详情并进行督办 1.2、事件登记（前端提交表单->后端接口接受表单信息->将基本数据存入事件表中，将详情数据存入详情表中 ->如果事件类型为重大事件、紧急事件会通过rabbitMQ处理消息并通知相关领导）各职能人员可以创建事件，添加事件信息，安排处理人员，发生区域等等具体数据 1.3、代办事件及查询（查询出事件表中状态为代办的数据，然后将数据提交给前端显示）显示当前已存在的事件信息 1.4、事件详情及处理（点击事件详情按钮，弹出详情框，然后前端请求后端查询出数据库中详情表的数据）显示当前事件的具体信息，还可以将消息打印成文件，可以查看事件处理流程 2、考核评估平台结合日常工作进行考核统计 2.1电子监察街道指挥中心、区级服务指挥中心等部门的领导在事件处理过程中进行网上督察，查看事件处理过程是否超时、是否违规等，如果超时就进行超时警告提示处理人员进行及时整改，并通过短信提醒，如果未出现状况，就将事件存入事件处理数据库中便于网络事件考核评分、网络基础数据考核评分、网络走访考核评分 2.2综合考核由街道指挥中心、区级服务指挥中心等部门制定考核指标及自定义分值，用于网络事件考核评分、网络基础数据考核评分、网络走访考核评分，然后分析综合评分，将考核结果打印成报表、专题图，还能在考核平台中直接查看，最后将数据反馈给社区工作站、街道服务指挥中心、区级服务指挥中心、各级职能部门项目中的难点：上报超时问题解决方案：使用中间件RabbitMQ在事件生成时，设置一个指定的过期事件，当消息冗余在队列中时，可能会导致一些未处理的消息过期，那么如果事件过期了还未处理，就会将当前事件加入到一个死信队列中，然后到达一个指定的时间后会进行一个队列扫描，如果在这个时间内进行了处理那么就通过，如果没有就进行一个消息警告并将当前消息通过rabbitMQ中的消息发送功能发送给部门管理员，管理员可以进行一个线上或者是线下的具体处理。重复事件登记问题解决方案: 采用aop 对调用提交表单的接口打上一个自定义注解,然后书写一个aop类,将切点为所有打上我们自定义注解的地方,打上一个before标签(在执行invoke之前).首先会根据请求回去用户的ip,然后判断,redis中是否有该ip对应数据,没有的话证明该用户第一次调用这个接口.然后将这个ip作为key存到redis之中并且设置过期时间为1分钟.如果不是第一次就返回用户(不要重提交) SQL优化问题优化编写步骤：开启慢日志，找到问题sql，创建sql索引，执行索引查询 1.杜绝使用全表查询，使用范围查询 2.语句中的in只能少量使用，过多使用in会导致消耗较大，能用between不要用in 3.不用使用select * 查询，会产生不必要的消耗（CPU IO 内存等），当表结构发生改变是，前端需要更新，所有要求直接select后面直接写字段名 4.当只需要一条数据时，使用limit 1，这是为了查找到一条之后不用继续往后找 5.尽量少在sql中排序

数据可视化显示

为了对让数据更直观的显示出来，用python对数据进行可视化，其中为部分可视化，此为航线图，用于查看各个轨迹的密集程度

天象系统TMS

• 开发环境：IDEA+MySQL+RabbitMQ+Redis+JDK1.8+Tomcat8+sourceTree+GitLab+maven 技术架构：SpringMVC+Spring+mybatis 项目简介：该项目为公司物流系统中各个网点的物件通过 PDA 扫描把枪实现扫描数据上传及异常信息下载的一系列操作的纯后台服务接口系统，主要分3大模块：基础模块、上传数据模块及下载数据模块。该项目年收益近10亿、日均数据量近400W、并发量近500条 • 负责系统中重要模块的功能开发与重构。 • 版本升级业务、差错上报业务、扫描任务提交与撤销业务、子单查母单业务、任务校验业务等的重构。 • 后台管理界面重写及版本业务升级界面开发。 • 负责与周边系统综合调试。技术描述： • 使用 springAOP 特性实现拦截所有接口参数,实现接口参数统一解密和全局异常拦截。 • 引入 rabbitMQ 代替老系统 redis 推送数据。 • 为上传模块中的扫描数据上传、集托数据上传、分拣数据上传中这三个接口添加了线程池来解决高并发的情况，并优化了接口响应

物流管理系统

开发环境： IDEA+MySQL +JDK1.7+Tomcat8+svn+maven 技术架构：SpringMVC+Spring+mybatis+SpringQuartz 项目简介：该项目为公司物流系统中各个协同系统提供数据推送及基本业务逻辑调用数据等一系列操作的纯后台服务接口系统，项目分为定时任务模块，基础业务模块两大模块责任描述： • 负责系统中重要模块的功能开发与重构，及日常需求迭代与维护。 • 负责与周边系统综合调试。技术描述： • 使用 spring aop 特性实现拦截所有接口参数,实现接口参数统一解密和全局异常拦截。 • 引入 rabbitMQ 推送数据。 • 添加线程池优化协同系统调用时间，提高数据库查询效率。 • 引入 springQuartz 配置定时任务，定时推送数据至周边系统

跟单客服系统

开发环境： IDEA+TIDB +JDK18+Tomcat8+gitlab+maven 技术架构：SpringBoot+mybatis+apollop 配置+自定义麒麟框架+nginx 项目简介：该项目为公司客服系统，负责同步各个协同系统的基本数据及对物流运单按照人员小组，团队进行实时平均分配跟单，提升公司整体的客服响应效率及质量责任描述： • 负责项目基础框架搭建，分析和设计，承担核心功能，公共模块的代码编写 • 根据业务场景设计数据库表，制定接口规范及技术文档编写，保证项目进度和质量 • 主导团队开发 code review ，提供性能优化，安全性建议，提供数据库表建立设计建议 • 负责与周边系统综合调试。技术描述： • 使用 spring aop 特性实现拦截所有请求接口参数,实现接口参数统一解密和全局异常拦截。 • 使用 rabbitmq 实现消费队列数据，实现数据正常与延迟消费。 • 引入 kafka 消息推送与订阅实现大数据报表制定及模块化数据实时更新。 • 引入线程池+redis锁+安全锁保证数据的唯一消费，避免重复消费。 • 引入 xxl-job 配置定时任务，实现定时任务参数化配置与启动

我也要上传

数据采集-爬虫类项目

重点城市程序员兼职推荐

重点岗位程序员兼职推荐