1、4年python后端开发经验及两年python爬虫经验,熟悉包括numpy,pandas,beautifulsoup4,flask等库的使用,具备熟练的python开发经验。
2、2年Java开发经验,熟悉springboot,springcloudalibaba框架,熟悉Java常用组件,具备独立构建前后端分离式(springboot+react)平台项目经验
3、熟练使用Linux系统,postgresql及mysql数据库,熟练掌握sql语句及数据库高级操作。
4、从0到1构建大数据开发平台,熟练各项大数据技术选型,采用flume+kafka+hadoop+spark Streamming&flink+hive+postgresql构建整套流式数据处理框架。用于采集工厂设备数据和工厂职工状态数据。
5、根据物模型理念,构建了工厂数据的关联关系
6、熟悉机器学习(ML)原理,曾运用KNN模型进行回归和分类预测,损失函数拟合度较高。
7、熟练PCB工艺流程,及传统制造业流程设计
8、责任心重,能高效完成任务。
底层基于flume+kafka+hadoop+spark计算+postgresql构建的大数据采集存储方案
通过flask构建后端模板,包括对用户,角色,组,权限,以及各个业务模块的管理(并且采用flask+gunicorn+gevent+supervisor+nginx负载均衡实现高可用式部署)
前端基于React前端框架构建
0 2023-04-18 19:37
全套的后端api架构,支持前端工作,此api使用的是python flask-resutful进行搭建,全套完备,同时,也提供了token验证过程,能够帮助搭建后端api系统
0 2022-01-31 16:29
基于aiohttp异步爬虫框架,以及jquery实现的动态爬虫系统,同时,使用aiomysql主动式分发数据库,实现自动回传
对于反扒机制,通过不停变换user-agent,ip,关闭cookie,使得让网站认为你是一个全新的用户。
此系统工作均由我完成
难点在于突破反扒以及动态爬虫
1 2023-04-18 19:35