根据农商行的要求，客户通过ATM发起辗转后，我行把客户资金冻结控制在账户中，如何苦在24小时内为发起转账业务撤销，则在24小时后解控并划扣该客户账户资金。但当客户账户在此24小时内由于其他原因被冻结，则系统无法自动解控并划扣，导致我行短款。&满足我部对太阳集市 2019 年业务考核及统计要求，现拟通过各种维度统计太阳集市各渠道的销售交易情况及对客户的拉新、促活情况。微信商城&电子商城入口产生的交易、直销银行太阳集市入口产生的交易、移动银行太阳集市入口产生的交易、核心系统&客服系统后台接口产生的交易。项目职责:一丶主要负责:1. 负责数据抽取，导入以及卸数2. 负责各个维度的报表统计3. 负责任务调度，确保数据时效性4. 负责后期的维护与完善二丶技术实现:1.利用Sqoop将数据从oracle中抽取到hive中2.将数据按照各个系统进行规整，并使用perl脚本分别对hive中的数据进行报表统计并汇总，最后将数据按天存储到hive中3.根据hive中的数据路径，将数据卸数到以.dat为后缀的文本中，并按日期存放，提供数据与报表平台4.利用任务调度，每天定时跑批导入，业务实现，卸数等操作