1970-01-01 -至今南京铁铲爬虫工程师

1.研究目标网站的结构、URL 规律、反爬虫机制等，制定相应的爬取策略。 2.编写爬虫项目脚本，并处理网站的请求方式、请求头、加密的逆向、验证码的处理等。 3.对爬取的数据进行清洗、转换、去重等处理，存储到数据库中。 4.定期监测爬虫的运行情况，发现问题并进行优化，如处理反爬虫机制、提高爬取效率等。 5.向团队成员和项目经理汇报每日的工作进展，与其他相关部门进行沟通和协作

1970-01-01 - 新疆大学计算机科学与技术本科