2024-02-01 -2024-12-31中广新兴媒体研究院爬虫开发工程师

一、需求对接与采集方案设计 对接产品、数据分析师、业务部门，明确采集目标：电商商品、新闻舆情、短视频、招聘、机票、财经资讯等； 调研目标平台（网页 / 小程序 / App / 接口），分析页面结构、接口协议、更新频率； 输出采集方案：增量抓取、全量抓取、定时任务、并发量级、存储方案、合规边界； 评估反爬难度、代理成本、数据时效，预估开发周期。 二、多端爬虫程序开发（核心日常工作） 1. Web 网页爬虫 静态页面：使用 Requests、XPath、CSS 选择器、正则提取文本、图片、价格、评论； 动态渲染页面（JS 异步加载）：Playwright、DrissionPage、Selenium 模拟浏览器抓取； 框架开发：Scrapy、Scrapy-Redis、异步 aiohttp 提升并发速度。 2. 接口 / 小程序爬虫 抓包分析 HTTPS 接口、小程序 wx.request 接口，还原请求参数、Cookie、Token，直接调用接口批量拿 JSON 数据（效率远高于渲染页面）。 3. APP 端爬虫（中高级核心） Android/iOS 逆向抓包、脱壳，还原加密签名 Sign、

2019-08-22 - 2023-06-16北京科技大学计算机科学与技术本科