爬虫
0
1
2
3
4
5
0
1
2
3
4
5
1天前在线
爬虫全职 · 300/日 · 6525/月信用正常
工作时间: 周末07:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的【xyzxiaoma】，一名【二级方向】； 我毕业于【宜春学院】； 负责过【某家数据爬取】，【小说爬取】的开发； 熟练使用【scrapy】，【mysql】，【mongo】； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2024-03-01 -2024-04-01爬虫爬虫
Python爬虫是一种通过编写程序自动抓取网页上数据的技术。一个Python爬虫项目通常由以下几个部分组成： 网页抓取部分：通过HTTP请求和解析HTML页面，从目标网站抓取所需的数据。Python中的Requests和BeautifulSoup库通常被用于实现这一部分。 数据处理部分：对抓取下来的数据进行清洗、处理、分析和存储。例如，可以将数据存储到数据库中，或者将其导出到Excel或CSV文件中。Python中的Pandas库常被用于数据处理。 反爬虫处理部分：当网站对爬虫进行限制时，需要对爬虫进行一些技术上的处理以应对反爬虫措施。例如，可以通过设置请求头、使用代理IP等方式规避反爬虫限制。 数据可视化部分：将处理后的数据可视化展现，便于人们进行数据分析和理解。例如，可以使用Matplotlib或Seaborn库对数据进行可视化。
教育经历
2023-09-01 - 宜春学院软件本科
技能
作品
Python爬虫是一种通过编写程序自动抓取网页上数据的技术。一个Python爬虫项目通常由以下几个部分组成： 网页抓取部分：通过HTTP请求和解析HTML页面，从目标网站抓取所需的数据。Python中的Requests和BeautifulSoup库通常被用于实现这一部分。 数据处理部分：对抓取下来的数据进行清洗、处理、分析和存储。例如，可以将数据存储到数据库中，或者将其导出到Excel或CSV文件中。Python中的Pandas库常被用于数据处理。 反爬虫处理部分：当网站对爬虫进行限制时，需要对爬虫进行一些技术上的处理以应对反爬虫措施。例如，可以通过设置请求头、使用代理IP等方式规避反爬虫限制。 数据可视化部分：将处理后的数据可视化展现，便于人们进行数据分析和理解。例如，可以使用Matplotlib或Seaborn库对数据进行可视化。
02024-03-15 23:17
Python爬虫是一种通过编写程序自动抓取网页上数据的技术。一个Python爬虫项目通常由以下几个部分组成： 网页抓取部分：通过HTTP请求和解析HTML页面，从目标网站抓取所需的数据。Python中的Requests和BeautifulSoup库通常被用于实现这一部分。 数据处理部分：对抓取下来的数据进行清洗、处理、分析和存储。例如，可以将数据存储到数据库中，或者将其导出到Excel或CSV文件中。Python中的Pandas库常被用于数据处理。 反爬虫处理部分：当网站对爬虫进行限制时，需要对爬虫进行一些技术上的处理以应对反爬虫措施。例如，可以通过设置请求头、使用代理IP等方式规避反爬虫限制。 数据可视化部分：将处理后的数据可视化展现，便于人们进行数据分析和理解。例如，可以使用Matplotlib或Seaborn库对数据进行可视化。
02024-03-15 23:15
使用scrapy爬虫框架，对某家数据进行爬取，爬取其房屋价格，房屋名称，区域名称，户型，楼层，面积，朝向，供暖，交易权属，房屋用途等等其他数据，并且保存到mongodb数据库中
02024-03-15 23:11
