项目介绍：搜集虚拟货币、NFT 、美股相关的行情数据和舆情信息，把社交情绪也作为量化金融维度进行量化交易。● 爬虫框架：scrapy● 爬虫控制台：Crawlab ，可视化爬虫任务的调度，可查看日志和错误信息，可分布式部署。● 使用 Postgresql 作为数据库，封装了数据库的连接，查询，更新，插入等操作。● 每个爬虫下面可以包含 table_info 数据库结构信息，启动爬虫时，可动态创建数据库，体现了设计模式中的高内聚，业务代码都放在了每个爬虫任务下面了；● 实现了重定向中间件、代理中间件、401中间件等；● 数据库操作都放到了数据库管道中，通过自定义的 PostgresPipeline 管道进行统一处理；项目业绩● 完成了爬虫的部署，并开启了定时任务；● 完成了虚拟货币、NFT 、美股行情数据入库；● 完成了根据资产关键词检索推特、Rediit、Medium、Youtube 等社交平台的文章和文章作者信息，并完成入库；● 在公司数据展示平台上通过 sql 语句，创建了数据库的监控表格，可查看数据爬取的进度、数据校验情况和数据库占用情况；● 在公司的数据展示平台上，通过编写 sql 语句，完成了把数据渲染成图表；