2026-06-01 -2026-06-03XX 数据科技有限公司Python 数据采集工程师

基于 Scrapy 框架搭建分布式爬虫项目，负责抖音公开视频列表、视频元数据（标题、发布时间、点赞 / 评论 / 分享数、作者信息等）的批量爬取，通过 Scrapy 的调度器与管道实现请求队列管理与数据持久化存储，优化爬取逻辑以适配平台反爬机制。 针对 Scrapy 难以直接处理的动态渲染页面，使用 DP 实现自动化浏览器操作，模拟正常用户行为，完成登录态维持、动态数据加载、滑块验证绕过等场景，实现对抖音动态加载的视频流数据的稳定采集，补充 Scrapy 无法覆盖的动态内容爬取场景。 对采集到的视频数据进行清洗、去重与结构化处理，将非结构化的页面数据转换为规范的 JSON/CSV 格式，并对接数据库完成数据存储，同时监控采集运行状态，处理封禁、请求超时、数据异常等问题，保障采集任务的稳定性与数据完整性。 协助维护爬虫项目的版本迭代，优化请求并发、代理池配置与爬取速度，提升数据采集效率，同时严格遵循数据合规采集规范，确保所有爬取行为符合平台公开数据使用规则与相关法律法规。

2025-09-10 - 南阳师范学院软件本科