Spider Admin Pro Scrapy 可视化管理和定时调度

开源地址
https://github.com/mouday/spider-admin-pro授权协议
GPL

SpiderAdmiProGithub: https://github.com/mouday/spider-admi-pro

Gitee: https://gitee.com/mouday/spider-admi-pro

Pypi: https://pypi.org/project/spider-admi-pro

简介SpiderAdmiPro是SpiderAdmi的升级版

简化了一些功能；优化了前端界面，基于Vue的组件化开发；优化了后端接口，对后端项目进行了目录划分；整体代码利于升级维护。

安装启动方式一：

$pip3istallspider-admi-pro$pytho3-mspider_admi_pro.ru方式二：

$gitcloehttps://github.com/mouday/spider-admi-pro.git$pytho3spider_admi_pro/ru.py或者$guicorspider_admi_pro.ru:app配置参数在运行目录新建 .ev 环境变量文件，默认参数如下

注意：为了与其他环境变量区分，使用SPIDER_ADMIN_PRO_作为变量前缀

#flask服务配置SPIDER_ADMIN_PRO_PORT=5002SPIDER_ADMIN_PRO_HOST='127.0.0.1'#登录账号密码SPIDER_ADMIN_PRO_USERNAME=admiSPIDER_ADMIN_PRO_PASSWORD="123456"SPIDER_ADMIN_PRO_JWT_KEY=FU0quV4t8rr1pvg93NZL3DL6sHrR1sCQqRzachbo0=#toke过期时间，单位天SPIDER_ADMIN_PRO_EXPIRES=7#scrapyd地址,结尾不要加斜杆SPIDER_ADMIN_PRO_SCRAPYD_SERVER='https://127.0.0.1:6800'#调度器调度历史存储设置#mysqlorsqliteadother,aydatabaseforpeeweesupportSPIDER_ADMIN_PRO_SCHEDULE_HISTORY_DATABASE_URL='sqlite:///dbs/schedule_history.db'#调度器定时任务存储地址SPIDER_ADMIN_PRO_JOB_STORES_DATABASE_URL='sqlite:///dbs/apscheduler.db'使用pytho3-m 运行，需要将变量加入到环境变量中，运行目录下新建文件ev.bash

注意，此时等号后面不可以用空格

#flask服务配置exportSPIDER_ADMIN_PRO_PORT=5002exportSPIDER_ADMIN_PRO_HOST='127.0.0.1'#登录账号密码exportSPIDER_ADMIN_PRO_USERNAME='admi'exportSPIDER_ADMIN_PRO_PASSWORD='123456'exportSPIDER_ADMIN_PRO_JWT_KEY='FU0quV4t8rr1pvg93NZL3DL6sHrR1sCQqRzachbo0='增加环境变量后运行

$sourceev.bash$pytho3-mspider_admi_pro.ru生成jwtkey

$pytho-c'importbase64;importos;prit(base64.b64ecode(os.uradom(32)).decode())'使用扩展收集运行日志：scrapy-util 可以帮助你手机到程序运行的统计数据

技术栈：1、前端技术：

功能第三方库及文档基本框架vue仪表盘图表echarts网络请求axios2、后端技术

功能第三方库及文档接口服务Flask任务调度apschedulerscrapyd接口scrapyd-api网络请求sessio-requestORMpeeweejwtjwt系统信息psutil项目结构【公开仓库】基于Flask的后端项目spider-admi-pro: https://github.com/mouday/spider-admi-pro

【私有仓库】基于Vue的前端项目spider-admi-pro-web: https://github.com/mouday/spider-admi-pro-web

spider-admi-pro项目结构：

.├──__iit__.py├──ru.py├──mai.py├──cofig.py├──versio.py├──flask_app.py├──logger.py├──api_result.py├──api│ ├──__iit__.py│ ├──auth_api.py│ ├──schedule_api.py│ ├──scrapyd_api.py│ └──system_ifo_api.py├──service│ ├──__iit__.py│ ├──auth_service.py│ ├──schedule_service.py│ ├──scrapyd_service.py│ └──system_data_service.py├──model│ ├──__iit__.py│ ├──base.py│ └──history.py├──exceptios│ ├──__iit__.py│ ├──api_exceptio.py│ └──costat.py├──utils│ ├──__iit__.py│ ├──jwt_util.py│ ├──scheduler_util.py│ ├──sqlite_util.py│ └──system_ifo_util.py└──web├──__iit__.py├──mai.py└──public├──idex.html└──static项目截图

TODO1.补全开发文档

2.支持命令行安装可用

3.优化代码布局，提取公共库

4.日志自动刷新

5.scrapy项目数据收集

Spider Admin Pro Github: https://github.com/mouday/spider-admin-pro Gitee: https://gitee.com/moud...