信息采集平台产品系统

背景：宣传人员需要通过市场数据做分析从而确认宣传策略，而人工采集数据效率极低，需要通过自动化工具采集数据。

1、获取数据
通过自动化程序获取网页上的公开数据。
2、数据展示
将通过自动化程序获取的公开数据以表格形式展示到前端页面。
3、数据储存
一方面，将查询过的数据储存到本地数据库，方便后续查找数据；
另一方面，可以将【功能2】中“自动化程序获取的公开数据”的展现在前端页面的数据表格，或者【功能4】中“查询本地数据库”后获取的展现在前端页面的数据表格，保存为csv表格文件。
4、数据查询
可以通过单个/多个筛选条件筛选保存在本地数据库中的数据并将其展现在页面上。

独立完成架构设计、前后端、API、自动化工具、数据库、打包。
网页作为前端，用到了html、css、js、jquery；
python作为后端，其中分为自动化程序、数据库、API三个模块：
自动化程序使用了playwright获取网页数据，bs4批量解析网页数据。考虑到实际情况中，存在爬取数量较多，程序响应较慢的问题，使用到了协程async_api模块使程序并发获取数据，速度更快。其中，获取数据通过
数据库使用的是本地数据库SQLite，实现了"增、查"操作。
API使用到了fastAPI；
打包工具用pyinstaller。
一些小功能的实现：
在数据传输过程中，考虑到可能存在网络波动或其他异常原因导致数据不干净，所以先将获取到的数据放到json文件中再通过api发送到前端或者保存到数据库。
制表用到了csv。
在通过自动化工具获取数据前加入了数据库查重。
加入了伪日志，通过写入日志txt文件和记录上次读到的日志行数返回日志内容并展示到前端。