全部产品
云市场

数据准备任务

更新时间:2019-07-01 17:06:50

选择引擎产品>数据融合引擎>数据准备,单击数据准备任务,进入数据准备任务界面。模型设计者和数据开发者可以访问数据准备任务模块。

数据准备任务模块管理项目中的手工开发任务。系统默认显示我的任务列表,去掉界面右上角的只看我的任务的选中状态,可显示所有任务列表,如下图所示。

说明:手工开发任务规划需按照数据开发逻辑(该文档仅对加入生态的合作伙伴开放)和数据场景部署(该文档仅对加入生态的合作伙伴开放)文档实施。

1

筛选任务

用户可以通过设定“开发负责人”、“表类型”、“应用领域”“模型负责人”以及“开发状态”等参数对任务进行筛选。界面参数说明如下表所示。

参数名称
参数说明
表名称 数据库中存储的物理表名称。
表描述 物理表的中文描述。
开发负责人 负责物理表开发的数据开发者。
表类型 物理表类型。
应用领域 当前支持的应用领域,包括:OD分析、事件感知、交通态势感知、单路口优化、基础数据、信号优化、弹性绿波带、生命体征、重点车辆安全防控、交通诱导、评价指标以及公交优化。
模型负责人 定义模型数据产出逻辑、各字段含义和取值要求。
存储数据库 存储物理表的数据库:DataHub Service、MaxCompute、ApsaraDB for RDS、Table Store。
可查看同一个物理表存于不同数据库(DataHub Service、MaxCompute、ApsaraDB for RDS、Table Store)的开发状态、数据质量等信息。
开发状态 数据开发完成情况:已完成、未完成。
预发环境数据质量

预发环境中的数据质量,单击刷新,可刷新数据质量;单击规则明细(叹号),可查看该物理表对应的规则明细。

数据质量状态如下所示:

  • 规则未执行:质量规则未配置,联系相关数据开发者配置规则。
  • 运行中:规则正在运行中。
  • 运行失败:最近一次质量规则运行失败情况。
  • 绿灯:数据质量优秀。没有命中规则。
  • 黄灯:数据质量一般。命中物理表的弱规则,建议用户根据实际情况使用。
  • 红灯:数据质量较差。命中物理表的强规则,联系数据开发者修改。
说明:只有具有“数据开发”和“模型设计”角色的用户才能进行刷新操作和查看规则明细操作。
生产环境数据质量

生产环境中的数据质量,单击刷新,可刷新数据质量,单击规则明细(叹号),可查看该物理表对应的规则明细。

数据质量状态如下所示:

  • 规则未执行:质量规则未配置,联系相关数据开发者配置规则。
  • 运行中:规则正在运行中。
  • 运行失败:最近一次质量规则运行失败情况。
  • 绿灯:数据质量优秀。没有命中规则。
  • 黄灯:数据质量一般。命中物理表的弱规则,建议用户根据实际情况使用。
  • 红灯:数据质量较差。命中物理表的强规则,联系数据开发者修改。
说明:只有具有“数据开发”和“模型设计”角色的用户才能进行刷新操作和查看规则明细操作。

模型血缘

点击表右侧操作栏的模型血缘按钮,如下图所示,显示该表所选存储数据库下的表血缘关系和影响分析。

1

  • 表血缘关系:显示当前表的上下游的表信息及数据质量状态。
    • 分别显示当前表的直接上/下游表,两边分别最多显示10个,多于10个后通过上下按钮滑动显示。
    • 表名称及表状态:显示表名称及存储形式、表的质量状态,其中状态样式和行业模型的表状态一致。
    • 鼠标悬停于某表时,显示表状态的详细内容,具体包括:表名称、存储形式、数据开发负责人、计算任务状态。1
    • 当点击表信息时:点击上/下游表,则显示当前表对应的上下游信息切换。
  • 影响分析:显示当前表下游行业模型列表和下游服务接口列表。

    • 行业模型列表显示字段:“表名称”和“表描述”。
    • 服务接口列表显示字段:“接口英文”、“接口名称”和“接口描述”。

    1

查看模型

点击跳转至模型设计>线上环境页面,并定位到该模型。

开发确认/回退开发

仅用户自己的任务(勾选只看我的任务),可执行开发确认回退开发操作。

用户确认物理表已开发完成,点击表右侧操作栏的开发确认按钮。确认完成后物理表的“开发状态”变更为“已完成”,同时运行质量规则,启动对物理表的质量监控。点击回退开发即可重新开发此物理表。

分配开发任务

分配开发任务为表模型分配开发责任人,仅面向管理者,其他角色无操作权限。

分配开发任务的流程如下:

  1. 勾选一个或者多个表模型,点击界面右上角的分配开发任务按钮。
  2. 如下图所示,下拉选择开发负责人。

1

配置数据任务

配置数据任务主要是进行数据准备任务的任务内容配置,仅面向管理者,其他角色无操作权限。

点击界面右上角的配置数据任务按钮,如下图所示,弹窗显示配置数据任务窗口。

1

配置数据任务的流程如下:

  1. 下载模板:点击任务模板按钮,下载系统提供的excel模板。
  2. 上传清单:按照下载的excel表补充数据后,点击上传清单按钮,导入到表清单列表中。
    • 确认:当所有表确认后,点击确认即可生成准备任务列表。
    • 取消:点击取消可取消本次导入操作。
    • 删除:点击删除可删除已存在的表。

说明:数据任务配置进行的是增量导入,不会初始化清空原有的清单表。