数据采集排重系统源文件源码

1. 负责设计数据排重策略，负责相关模块开发, 及上亿级历史数据排重工作。
2. 负责日更新数据排重相关模块开发，维护数据。
3. 负责疑似重复数据处理，通过计算摘要相似度，完成数据关系确认
4. 熟悉 Scrapy，Requests，Selenium 等爬虫框架，搭建过千万级分布式网络爬虫。
带领小组搭建清洗系统，熟悉正则表达式，Xpath能够从结构化和非机构化的数据中获取信息。