1. 毕业至今一直在大数据处理、分析和应用系统工作,具备完整的大数据知识体系。2. 近5年的后端开发经验,熟悉Linux、Elastisearch、Hbase、Zookeeper、Hadoop等技术。3. 工作语言主要用Python、Scala和Java。4. 拥有数据处理的流程设计和专业团队开发经验。
工程包含了一个Scala程序:
1. 从oracle数据库转存至大数据hive库中,以便使用集群性能分析和处理数据;
2. 该程序基于星环大数据平台的inceptor组件开发。
0 2018-12-27 16:53
工程包含了一个scala程序:
1. 对数据基于业务规则进行合并优化,基于spark运行调度程序。
2. 该代码实现了每天近百G数据的加工过程。
0 2018-12-27 16:53
工程内包含了4个python程序:
1. 对输入文本进行300维向量计算相似度,进行文本分类预测;
2. 对输入文本的语种采用特定模型识别;
3. 数据的接入、处理和存储的调度服务;
4. 对批量数据进行中文和非中文的拆分。
0 2018-12-27 16:38