APP聊一聊
我是刘刚。毕业于太原师范学院物联网工程专业。
曾工作于杭州端点科技有限公司,负责网络爬取数据,以及sql数据分析工作。
因此熟悉python爬虫、sql语句,java编程等等技术。
2023-07-01 -2024-11-20杭州端点科技爬虫工程师
主要负责大数据仓库搭建中的数据采集模块。比如flmue、sqoop等采集工具去采集日志文件和mysql数据数据,以及使用python进行网络爬取相关数据。
2016-09-01 - 2020-07-01太原师范学院物联网本科
通过flume和sqoop数据采集工具,采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表,建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据,dwd层对数据进行一些预处理,dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计,例如新增用户统计,用户流失统计,操作系统活跃性,商品指标信息 的相关指标。
ETL工程师
1000元/天
博彦技术股份有限公司
技能:Oracle,SQLServer,SQL Server
数据开发
300元/天
中智
技能:Java,MySQL,Oracle,SQLServer
数据开发工程师
数融科技有限公司
技能:Java,Shell,SQL Server,HTML5,JavaScript,Oracle,MySQL,DB2
软件开发工程师
成电医星科技有限公司
技能:Java,Delphi,SQLServer,HTML5,Vue