项目描述: 数据平台同时存在Hive, SparkThriftServer, Impala等几种数据查询服务. 并且没有权限验证功能.开发本项目是为了解决1. 统一入口+权限认证2. SQL记录和分析3. 队列自动选择2018/09-2019/122019/04-2019/05代理实现了hive的thrift server, 客户端使用datagrip(使用hive jdbc)或者hive jdbc、python hive client等可以方便连接到查询代理, 执行sql语句.代理首先认证用户(使用公司统一认证中心), 在用户提交SQL时, 分析SQL使用到的表、视图, 然后查询用户是否拥有读权限. 没有权限的用户请求会被拒绝执行.权限检查通过的SQL会交由后端的hive, sts或者impala执行.后端hive, sts或impala都是多实例部署, 一开始采用随机选择后端服务策略, 计划实现根据SQL来选择不同后端的策略(快慢、优先级等)用户执行的SQL都会保存下来, 进行批量分析, 找到其中的问题, 对用户提出优化建议.还可以辅助找到对常用的表, 进行优化, 加快执行速度.使用技术 scala thrift mysql nginx项目职责: 架构、开发、辅助分析项目业绩: 每天执行数万条SQL, 辅助找到使用量占80%的表, 提供优化策略