逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本逆向爬虫以及自动化脚本

本系统主要包含用户登录、光伏设备实时监测模块、电站信息与设备信息查询模块、电站地理位置展示模块、电站信息管理模块、设备信息管理模块等多个核心功能模块，并能够调用高德地图API绘制电站地理信息图。

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

基本网站功能数据库主主复制ELK架构日志收集Promethus+Grafana实现集群状态收集和数据看板通过Grafana将告警信息通过DingDing通知harbor容器镜像仓库chrony三节点时间同步K8s部署的数据库使用NFS外挂存储

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

官网页面动态展示接口设计官网会员中心模块以及订单模块国际官网接口实现（英文，日文，俄文）PCB价格计算模块逻辑实现自用ERP系统开发（前后端）使用宝塔自动化部署（国内）使用AWS(亚马逊)自动化部署（国外）

1、主要有工作台、开发平台、探索、开发工具、开发知识模块、应用的管理、技术支持等2、主要功能包括：华为云开发者空间的引导和展示页面、工作台中的云主机的展示和控制页面、资源和工具的展示，知识和技术的分享，工具的管理和分类

以4S店DMS系统为主要数据来源，增强集团内部管理，包括配件集采系统、保险新车分配系统、维修增项等系统；另为更好的服务客户，增加线上卡券系统，在企业微信的基础上开发SCRM系统，便于集团统一管理顾问，更好的服务于客户；

1、数据大屏（项目概况、人员概况、视频监控、环境概况、设备概况、安全管理、质量管理）2、项目管理（项目信息、合作单位、施工日志、现场模拟、历史天气）3、人员管理（实名制、考勤中心、智能安全帽、智能闸机、工资管理、人员培训、预警中心、评价中心）4、视频监控（视频设备、抓拍记录、智能监控）5、环境管理（