爬虫工程师
杭州0
1
2
3
4
5
1月前来过
个人介绍
我是戴文天，24岁，本科毕业于上海电力大学软件工程专业，拥有3年数据采集相关工作经验，现可承接天津地区数据采集方向兼职工作。
技术能力上，我在数据采集与处理领域积累了扎实的实践经验：Python方面，熟练运用Python进行数据采集，能借助pandas做数据分析，结合正则表达式、机器学习与AI大模型优化数据解析，还曾用Python和Selenium构建自动化测试框架提升效率；爬虫领域，主导过报刊采集系统，采用Scrapy和BS4技术栈设计三通道架构优化分布式采集，可有效应对反爬机制，也在nsfc数据采集项目中运用JavaScript逆向解密技术、BeautifulSoup库完成近百万公开项目数据抓取；同时熟悉Java，能参与后端开发，也可维护FastAPI系统保障接口稳定与数据整合效率。
过往工作中，我做事认真负责，性格外向且具备良好团队精神，曾成功完成报刊采集、金融数据库维护等多个项目，保障数据准确性与系统稳定性。兼职服务可覆盖数据采集方案设计与实施、爬虫系统开发与优化、数据清洗与分析、FastAPI系统维护等，能高效响应需求，确保任务高质量完成。
技术能力上，我在数据采集与处理领域积累了扎实的实践经验：Python方面，熟练运用Python进行数据采集，能借助pandas做数据分析，结合正则表达式、机器学习与AI大模型优化数据解析，还曾用Python和Selenium构建自动化测试框架提升效率；爬虫领域，主导过报刊采集系统，采用Scrapy和BS4技术栈设计三通道架构优化分布式采集，可有效应对反爬机制，也在nsfc数据采集项目中运用JavaScript逆向解密技术、BeautifulSoup库完成近百万公开项目数据抓取；同时熟悉Java，能参与后端开发，也可维护FastAPI系统保障接口稳定与数据整合效率。
过往工作中，我做事认真负责，性格外向且具备良好团队精神，曾成功完成报刊采集、金融数据库维护等多个项目，保障数据准确性与系统稳定性。兼职服务可覆盖数据采集方案设计与实施、爬虫系统开发与优化、数据清洗与分析、FastAPI系统维护等，能高效响应需求，确保任务高质量完成。
工作经历
2023-10-01 -至今北京聚源锐思数据科技有限公司爬虫工程师已认证
北京聚源锐思个人经历描述 我于2023年10月起，在北京聚源锐思数据科技有限公司任职，主要围绕Python技术栈开展工作，承担数据采集、系统维护与优化等核心任务。工作期间，我利用Python和Selenium构建自动化测试框架，有效保障了系统的高效性与稳定性，显著提升测试效率；同时运用Python进行数据采集，独立设计并搭建数据库，针对性优化数据存储与查询性能，为业务数据需求提供基础支撑。此外，我还负责维护后端FastAPI系统，确保系统响应速度与可靠性，以满足日常业务运转需求；参与项目文档编写，提供准确技术支持与指导，助力项目顺利推进；并对现有爬虫系统进行维护与优化，进一步提升数据抓取的效率与准确性，为公司数据相关业务的稳定开展提供了有力保障。
教育经历
2019-09-01 - 2023-07-01上海电力大学软件工程本科已认证
戴文天教育经历描述 戴文天于2019年至2023年就读于上海电力大学，攻读本科软件工程专业，在校期间系统学习了数据结构、计算机组成原理、面向对象程序设计（Java）、软件工程概论、数据库原理、JavaEE、计算机网络技术及应用、大数据技术及原理、软件测试方法与技术等多门核心课
技能
作品
负责维护和优化金融数据库FastAPI接口项目，确保系统的高效性和稳定性。通过定期更新和优化代码，提高数据处理速度和可靠性，支持数千个表和多数据库的金融数据整合与分析。负责上千个表的金融数据库的FastAPI接口链接测试，成功识别并修复多个关键问题，确保系统稳定性和高效性。主导FastAPI项目的自动化接口生成，优化接口性能，并进行持续维护，保障项目的长期稳定运行。
02025-10-15 14:49
1. 项目简介：负责全网公开数据采集项目，确保数据的准确性和完整性，为后续分析提供可靠的数据基础。 2. 职责描述：承担需求分析、数据采集实现、数据库搭建及数据清洗等关键任务，确保项目按时交付。 3. 技能应用：熟练应用JavaScript逆向解密技术、BeautifulSoup库及正则表达式，成功实现数据采集和清洗，提升数据处理效率。 主导nsfc数据采集项目，成功收集全网近百万公开项目数据，涵盖项目成果及信息，总量近千万。通过优化数据抓取技术和提高数据处理效率，确保数据的准确性和完整性，为相关研究提供可靠的数据支持。
02025-10-15 14:44
主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。
02025-10-15 14:40
