爬虫
广州Java熟练
0
1
2
3
4
5
1月前来过
个人介绍
热爱技术，掌握hadoop生态的技术做大数据开发，掌握springboot+mybatis+mvc的三层架构开发网站后端，掌握mysql语言，能熟练使用java python scala编程语言，使用过spring aop切片和事务管理 ，了解spring的一些底层原理，使用过redis数据库做数据缓存，了解linux的常用命令，实现过linux系统虚拟机的免密登录，在linux虚拟机上跑过springboot项目，对java的常用容器，多线程，io比较熟悉，使用过vue,html,jq,css做前端页面的开发，对网站的高并发处理有了解过，***序开发
工作经历
2021-12-01 -至今勤思科技爬虫
负责从***数据的爬取，设计相应的数据库表，存储数据，写接口，按照需求响应不同的内容，部署和维护分布式爬虫。大数据技术与应用专业，熟悉hadoop生态，在校期间获取大数据技术技能大数省三等奖。
教育经历
2019-09-01 - 广东轻工职业技术学院大数据技术与应用专科
在校主要学hadoop，hive，spark，等大数据生态的技术，并且能熟练使用springboot，网络爬虫等技术获取数据和展示数据
技能
作品
按照不同的需求从网站端和*小程序端爬取数据，并且设计数据库表，使用scrapy框架配合redis做分布式爬虫，最终部署到ubuntu系统上，并且提供接口，将获取到的数据提供给业务系统调用
02023-05-02 17:33
主要负责对房源信息的录入，和展示，对管理员用户可以就行修改，个删除，添加的操作，使用springboot写接口，采用了lg4j采集日志，并用flume，Kafka，spark等技术使用统计不同房源的点击量
02023-05-02 17:34
