小杨aa
全职 · 300/日  ·  6525/月
工作时间: 工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

1、熟悉 hadoop 体系架构 如 HDFS MapReduce Yarn Hbase Flume Spark

2、掌握 python、Java、Scala 等编程语言

3、熟悉 Mysql、NoSql的 Hbase 数据仓库

4、熟悉使用 linux、ETL 技术

5、了解使用 Python的 scrapy 框架编写程序挖掘网络数据

6、了解并自学过 css html js 等一些 web 技术知识

7、掌握人工智能的机器学习和深度学习等知识


工作经历

  • 2023-01-29 -2023-02-20东莞市兴塑料制品有限公司普通员工

    主要负责公司的塑料压制产品、包装、发货等等一些工作 制作了公司的招聘传单等等工作

教育经历

  • 2020-09-09 - 2024-06-07东莞理工学院城市学院计算机科学与技术本科

    在校完成的项目: 1-爬取百度贴吧图片以及标题和作者;通过输入关键字来爬取自己所需的图片。 2-爬取虎牙网站的直播信息(主播名字、直播类型、直播人气等)并且将该信息保存到mysql数据库;使用slelnium的webdriver来访问网站及使用click()对网页翻页、爬取信

技能

MySQL
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
爬取梨视频网站的视频

通过python爬虫获取梨视频网页的视频 首先设置任意随机的请求头、通过request函数的get方法向网页发送请求、其次返回一个对象使用text进行获取网页全部内容、再通过etree.html()来对网页进行解析,最后xpath函数通过网页的视频的节点获取视频

0
2023-03-29 21:27
爬取top250电影信息

通过python的request库来获取top250网页的电影信息 首先确定网页的网站、通过request请求向网页发送请求、可能会遇到网页的反爬虫,需要设置多个请求头 使用random函数来获取每次请求头不一样任意选取不同请求头、然后返回来一个对象,使用text来获取内容/etree.html来解析网页内容、最后xpath函数来获取数据

0
2023-03-29 21:30
爬取虎牙网站的直播间信息并保存到数据库中

使用python爬虫技术 用request请求向网页发送请求 、获取响应的内容、xpath不能获取注释 需要手动去掉注释、使用etree对html的内容解析、然后通过xpath网页节点来获取网页内容信息、然后通过连接mysql数据库保存

0
2023-03-29 21:33
更新于: 2023-03-10 浏览: 156