lwy0ever
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日10:00-24:00、周末09:30-24:00工作地点: 远程
服务企业: 3家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

主要编写python爬虫

使用requests库编写轻量级爬虫

用正则和jquery做页面分析

有一定的反爬经验:可以设置代理、处理异常

可以使用多线程、多进程爬取

也可以对数据做规范化处理和统计分析

可以存储数据到数据库或者csv、excel等

希望能尽自己绵薄之力提高大家的工作效率,做好数据沉淀和分析


工作经历

  • 2010-12-13 -至今北京动向产品经理

    主要编写python爬虫 使用requests库编写轻量级爬虫 用正则和jquery做页面分析 有一定的反爬经验:可以设置代理、处理异常 可以使用多线程、多进程爬取 也可以对数据做规范化处理和统计分析 可以存储数据到数据库或者csv、excel等

教育经历

  • 2001-09-01 - 2005-06-30清华大学电子信息工程本科

    清华大学 电子工程系 本科,属计算机相关专业

技能

Mongo
多线程
多进程
SQL Server
0
1
2
3
4
5
0
1
2
3
4
5
作品
通用数据导入程序

将公司第三方系统中导出的数据,重新导入数据库 程序支持excel格式、json格式 实现了数据去重、分主表从表、常见数据转化和字段标准化 新增导入需求只需要调整配置文件(yaml格式)即可

0
2021-11-24 10:31
通过API和爬虫获取快递的路径并标准化

通过快递公司API(顺丰、圆通)和爬虫(百度)获取快递的路径,并将快递状态标准化,为后续的分析统计做好初步整理 数据存储到sql server 状态匹配方式,兼顾API状态和正则匹配的文字描述

0
2021-11-24 10:19
爬虫爬取51VOA并下载mp3

通过requests爬取51VOA 解析页面,并将字幕下载为文本文件,并下载mp3 爬取日志用mongdo存储,可多次运行,增量更新

0
2021-11-24 10:10
更新于: 2021-11-23 浏览: 186