TechiBoy1933293783
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日16:00-23:00、周末09:00-22:00工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

我是程序员客栈的TechiBoy1933293783,一名爬虫开发工程师; 我毕业于广西理工职业学院,担任过湖南麦石信息科技有限公司的中级爬虫工程师,担任过广州越亮传奇信息科技有限公司的高级爬虫工程师; 负责过1688电商网站的数据采集,懂车帝,36K,五矿集团等项目的开发; 熟练使用Scrapy,requests,BeautifulSoup,lxml,pymongo,pysql等工具和框架; 如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

工作经历

  • 2022-04-12 -2025-09-18广州越亮传奇信息科技有限公司高级爬虫工程师

    1熟悉运用Python编程语言,结合Scrapy、Requests、BeautifulSoupt等常用框架和工具,实现对动态网页、反爬机制较强网站的数据采集。 2.深入研究目标网站的结构和反爬策略,通过分析网络源代码、网络请求头、响应头等信息,制定合理的爬取策略,有效规避IP封禁、验证识别码等常见问题。 3.做电商类、工商类信息爬虫程序的开发,成功为公司整合各种社会工程资源。 4.解决各种反爬方式:诸如JS逆向,cookie反爬,token生成和各种验证识别码的破解。 5.编写Python脚本实现日常爬虫任务的高效执行。

  • 2020-07-02 -2022-04-14湖南麦石信息科技有限公司中级爬虫工程师

    本人负责设计开发高效的网络爬虫程序,选择mysql或者pymongodb作为数据库存储方案,保障数据结构化管理;参与编写技术日志,记录开发流程,遇到的问题及解决方案。 1.对亚马逊、1688等电商灯数据采集。 2.抓取并清洗数据,存储到pymongodb中。 3.负责日志系统的开发和维护。 4.将抓取到的数据展示在页面上。 5.进行api接口的开发,和前瑞进行对接。

教育经历

  • 2009-10-09 - 2012-10-06广西理工职业技术学院酒店管理学专科

语言

中文母语水平
0
1
2
3
4
5

技能

Python熟练
0
1
2
3
4
5
作品
懂车帝数据采集

1.网络请求:获取网页内容:(requests)向懂车帝网站发送HTTP请求,获取HTML内容。2.HTML解析:提取目标数据:(lxmBeaufulSoupoup)提取车型名称,价格,评分,评论等。3.数据存储:保存采集结果:(CSV,pymongo)将数据保存到本地文件或者数据库中。4.反爬应对

0
2025-10-04 21:27
更新于: 10-05 浏览: 75