沙粒金

一款招投标订阅+金融服务 APP，本人在数据组工作，前期主要用 python 的 scrapy 框架编写爬虫文件，爬取全国，省级，市级，县级的政府采购网，公共资源交易网发布的招投标公告，之后编写清洗文件，清洗数据， 主要用 airflow 框架，通过正则表达式清洗数据，另一种方式通过机器学习模型训练，进行数据的清洗，linux 服务器维护，数据库用到 MySQL，PostgreSQL，MongoDB，Redis。