DATA统计
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日10:00-20:00、周末08:00-20:00工作地点: 远程
服务企业: 6家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

熟练使用scrapy爬虫框架, 有过舆情监测相关工作经验熟练操作linux系统, 熟悉各种命令熟练使用django开发框架熟练使用xpath, re等数据提取工具熟悉js逆向, 微博登录cookie破解, 小红书数美风控api破解, 抖音关键词搜索x-bogus/_signature加密参数生成, 今日头条ttwid生成

工作经历

  • 2021-03-26 -至今河北启天Python爬虫

    公司主要负责舆情监测, 安全监测项目 负责定向账号/关键词监测项目开发, 爬虫包括(微博,头条, 贴吧, 百度, 小红书, twitter, facebook)等 负责舆情监测通用爬虫框架开发, 爬虫包括各种舆情网站, 政府机构新闻信息, 监测2w网站 负责热搜监测爬虫开发, 包括微博, 知乎, 腾讯, 头条, 抖音, 贴吧, B***60, 搜狗, 搜狐等等 负责短视频监测平台爬虫开发, 包括B站, 抖音, 微博, 小红书, 好看, 微视, 皮皮虾, 梨视频, 度小视, 西瓜等

  • 2019-03-01 -2021-03-31河北九度pyhton爬虫/开发

    公司主要防线: 小程序, 软件制作 负责内容, 公司小程序数据对接,爬虫采集相关数据

教育经历

  • 2018-09-16 - 2022-12-06河北科大计算机科学与技术本科

    大四北京益友会科技有限公司实习

技能

多线程
MongoDB
0
1
2
3
4
5
0
1
2
3
4
5
作品
热搜监测

监控各平台热搜榜单, 定时更新榜单推送至平台 包括(微博, 百度, *公众号, B站, 抖音, 知乎, 贴吧, 新浪, 360搜索)等等

0
2023-03-31 03:43
微博全量账号监控

微博账号登录cookie破解 采集现有微博账号发文, 微博账号数量1.6亿, 7天内活跃账号1500w, 30天内活跃账号3000w, 非活跃账号1.1亿, 各种原因失效(被封, 注销)账号500w 分布式爬虫采集, 每日数据量3000w左右, 采集微博账号发文 通过爬虫采集文章判断当前账号是否活跃, 若账号活跃则提高账号采集频率

0
2023-03-31 03:45
定向监测

使用python+scrapy 项目包含微博, B站, 知乎, 头条, 抖音, 小红书, 百家号, 大鱼号, 贴吧等平台 负责各平台指定账号发文/ 关键词搜索 采集, 计算账号活跃度, 更新账号粉丝关注信息

0
2023-03-31 03:48
更新于: 2023-03-03 浏览: 206