数模大数据平台产品系统

1.首页
对大数据仓库整体运行情况进行展示，可以看到任务、数据存取、模型、服务等情况，具体包括大数据仓库数据全生命周期流程图、抽取任务总数、数据存取总数、模型总数、服务总数等。
2.数据资源监控
对数据和资源情况进行监控，通过对数据总量、数据源种类、数据量统计、数据总量曲线和实时抽取任务的监控，可实时了解大数据仓库数据来源存储等情况，及时发现问题，防患于未然。
3.数据源管理
3.1新增源
平台可以对接传统关系型数据库及常规大数据环境数据库，需具备良好的可扩展性及兼容性。关系型数据源包括MYSQL、ORACLE，大数据数据源包括HIVE、IMPALA；选择一个数据源类型后，在新增窗口中维护源名称、IP地址、端口号、数据库名称、用户名和密码，数据源测试连接成功后点击确认即可成功新增一个数据源。
3.2源数据治理
平台可以对接入源中的表数据进行管理，可修改表名、表备注，可修改字段名备注、可查看表详情、可查数据详情。
4.数据采集
4.1数据资源库概况
数据资源库概况展示大数据仓库抽取的源数据情况，详细展示每个资源模型所属目录、空间容量、数据量（行）、描述以及更新时间，并可对资源模型进行相关设置。
4.2数据源抽取
可维护资源名称、所属目录、描述；数据抽取采用一次性抽取及定时抽取两种任务模式，其中定时抽取又可设置为全量覆盖、增量抽取和全量追加抽取策略。支持数据预览，并支持内容过滤、非空清洗、日期清洗等多种数据清洗方式。另外，可使用自定义SQL作为资源数据来源，但此功能不支持自定义列名和配置清洗器。
4.3文本数据上传
可以对Excel文本资源建立抽取，上传Excel文件后，可选择多个工作表进行导入，可进行表头设置，选择自动生成表头或把第一行作为表头，支持数据预览，并支持内容过滤、非空清洗、日期清洗等多种数据清洗方式。
4.4资源的导入导出
平台支持资源的导入导出，以实现资源的跨系统使用，减少操作步骤。通过json格式文件导入，实现导入资源；可将平台汇聚的某个资源导出为json文件，实现导出资源。
4.5资源的重建
实现资源的重建功能，可以对资源模型进行原数据重建或重新选择新的数据源头，再次建立新的数据抽取任务且不影响后续操作。需要注意的是，如若变更新的数据来源，请保证新的数据集列信息与原有资源列信息一致。
4.6资源模型的相关设置
通过资源模型的相关设置，更好的管理资源模型。具体功能包括数据抽样、关联授权、历史记录、字段信息。
数据抽样即对抽取的数据源进行预览；
关联授权包括关联概况和授权概况。关联概况即数据资源与数据专题库、服务模型的关联情况，以及数据来源情况；在授权概况中可以为用户、组、组织分配数据的查看、修改、删除权限；
历史记录即数据资源日志查询，包括更新记录、运行记录和调度记录。更新记录包括更新记录和操作记录，其中更新记录展示操作人、操作时间、资源更新情况；操作记录展示操作人、操作时间和操作类型；运行记录是将系统开始执行用户的操作的具体运行流程进行记录，包括运行时间和运行内容，若操作执行出错，方便用户进行故障排查；调度记录是数据抽取任务的调度情况记录，调度记录表中将任务ID、调度时间、调度结果、调度备注、执行时间、执行结果、执行备注进行展示；
字段信息展示资源模型的字段名称、字段别名、字段类型、是否主键、是否索引、显隐状态。
5.数据仓库
5.1新建数据专题库结构
可以创建专题库结构，再由抽数模型灌入数据为之后的服务模型提供可靠的标准数据。创建专题库包括专题库结构配置和列信息配置。专题库结构配置，包括专题库结构名称、所属类别、描述、可以按模板导入列配置信息、可插入创建时间和创建人；列信息配置包括标识符（列名）、中文名、同义词名、数据类型、长度、小数位数、默认值、是否可为空、是否主键、是否索引和备注信息。
5.2导入导出数据专题库
通过专题库数据的导入、导出以实现资源模型的跨系统使用，减少操作步骤。通过json格式文件导入，实现导入资源；可将平台数据专题库导出为json文件，实现导出专题库
5.3数据专题库的相关设置
通过数据专题库的相关设置，更好的管理数据专题库。具体功能包括数据抽样、关联授权、历史记录。
数据抽样即对专题库中的数据进行预览；
关联授权包括关联概况和授权概况。关联概况展示数据专题库链路；在授权概况中可以为用户、组、组织分配数据的查看、修改、删除权限；
历史记录即数据资源日志查询，包括操作记录、运行记录和调度记录。其中操作记录展示操作人、操作时间和操作类型；运行记录是将系统开始执行用户操作的具体运行流程进行记录，包括运行时间和运行内容，若操作执行出错，方便用户进行故障排查；调度记录是数据专题库数据填充任务的调度情况记录，调度记录表中将任务ID、调度时间、调度结果、调度备注、执行时间、执行结果、执行备注进行展示。
5.4专题库数据填充
通过数据填充可对专题库进行数据的填充。填充模式包括列映射填充和模型填充，支持数据填充预览。
1.列映射填充：
列映射填充是将选定的数据资源库中的指定字段填充到指标结构中。支持跨数据库，多数据源选取数据。
在资源交集配置中可以为选中的多个数据资源库配置映射关系。
2.模型填充：
模型填充是先通过拖拽的形式将数据源以及算子合成模型，通过模型技术得到结果集，再将结果集映射到数据专题库中。
系统内置交集、并集、过滤、分组排序、数据清洗等基础操作算子，满足数据分析基础需求。系统支持基于GIS系统可以完成多类空间计算操作，包括空间包含、空间点位、空间面积、空间长度、空间交集、空间范围等空间计算算子，支撑各类地图应用。
6.分析模型库
6.1新增数据分析模型
通过新增数据分析模型进行资源集合，将源数据进行加工，形成较为标准的数据资源。这里的源数据包括数据专题库、数据资源库和分析模型库中的数据。平台支持拖拽操作，便捷实现。普通算子包括交集、并集、过滤、分组排序、数据清洗。空间算子包括空间包含、空间点、空间面积、空间长度、空间交集、空间范围。
6.2导入导出数据分析模型
支持数据分析模型的导入、导出，导入导出格式为json文件，以实现以分析模型的跨系统使用，减少操作步骤。
6.3分析模型管理
平台通过复制、编辑、删除等操作对分析模型进行多方面的管理。复制模型时，可以维护模型名称、所属类别，可以将模型结构和数据进行复制。
7.服务管理
7.1新建数据服务
通过新建数据服务将数据分析模型加工处理后的数据以服务的形式发布出去供其他服务使用。
平台支持一键发布数据分析结果为HTTP服务，并支持动态参数回传，可基于自定义的条件格式和数据内容调试服务接口。
7.2API全生命周期管理
通过web界面即可完成数据服务接口的全生命周期管理，包括服务修改、服务预览、关联授权、服务删除、服务停用，无需编程人员开发代码。支持数据服务目录编目管理，支持服务目录在线查阅，支持对服务授权管理。支持为用户、组、组织分配查看、修改、删除数据服务权限。
7.3API调试工具
平台提供页面调试工具以验证API被发布到不同的自定义环境中是否连通，支持数据预览。
8.权限管理
8.1数据资源权限
针对数据源可以设置查看、使用、编辑、删除等使用权限设置，保证数据的安全性。详见3.1.3.6资源模型的相关设置。
8.2服务权限
针对对外服务可设置服务发布、服务使用、服务删除、服务查看等使用权限，保证数据的安全性。详见3.1.6.2API全生命周期管理。