某公司内部数据管理系统,功能上分为数据的采集和检索,采用了前后端分离的技术。
我负责提供数据检索的后端API。数据按一定的标准被划分为多个数据集,数据集的元数据存储在MySQL, 具体的数据存储在Hive。
数据访问权限有两种,一种是数据集,另外一种数据集内的项目。
在建立索引时 通过Trino访问hive获取数据在Elasticsearch中创建索引和批量添加索引文档;
在检索时,使用了Elasticsearch的新Java Api来检索。
检索时,有权限的过滤。
点击空白处退出提示
评论