文档

查看并管理明细汇总表任务

更新时间:

明细汇总表任务是Dataphin针对规范建模创建的逻辑表(维度逻辑表、事实逻辑表、汇总逻辑表)任务提供的字段视角运维功能,本文为您介绍如何查看并管理明细汇总表任务。

背景信息

  • 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑表任务对应一个逻辑表节点,系统会按照您设置的统计周期等参数自动进行调度配置,您可以从表视角或字段视角对需要运维的逻辑表任务进行操作。

说明

仅支持规范建模功能的项目可以查看逻辑表任务。

  • 明细汇总表任务按照规范建模的物化拆分逻辑自动生成多个物化节点。每个逻辑表节点即多个物化节点的组合,可能存在多个字段或明细汇总表任务节点归属于同一个物化节点。

使用说明

规范建模采用动态物化逻辑,因此在可基于物理运维视角和逻辑运维视角进行运维管理:

  • 基于物理运维视角:您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个明细汇总表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

  • 基于逻辑运维视角:您只需要选择需要运维的字段或逻辑表任务节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

明细及汇总表页面入口

  1. 请参见运维中心入口,进入运维中心。

  2. 运维中心页面,单击左侧导航栏周期任务,并选择明细汇总表页签,进入明细及汇总表页面。

    image

查看明细及汇总表任务列表

明细及汇总表任务提交到运维中心调度后,将在周期的明细及汇总表任务列表为您展示。周期任务明细及汇总表列表展示当前任务对象、调度周期、优先级、负责人、相关基线、资源组、最近更新时间及支持的操作。

image

字段

描述

任务对象

提交到运维中心的明细及汇总表周期任务。

调度周期

任务所属的调度周期。

优先级

任务所属的优先等级。

说明

汇总逻辑表的优先级展示的是该汇总表包含所有指标的优先级,因此可能有多个优先级。

负责人

该周期任务的运维负责人。

说明

汇总逻辑表的负责人展示的是该汇总表包含所有指标的负责人,因此可能有多个责任人。

相关基线

展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

资源组

任务所属的资源组名称。

最近更新时间

任务最后一次的更新时间。

明细及汇总表任务列表支持的操作

操作

描述

DAG图

单击image可查看该明细及汇总表任务的DAG图。更多详情,请参见明细及汇总表任务DAG节点支持的操作

查看周期实例

查看某个任务运行生产的周期实例。同时,您也可以对周期实例进行运维和管理。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

编辑节点

进入该任务的编辑页面,编辑该任务,仅适用于Basic模式。

查看生产节点

进入Prod项目中,查看该任务配置。

说明

Basic模式和Dev-Prod开发模式下未发布到生产环境中的任务不支持该功能。

字段及批量操作

进入字段及批量操作列表,并针对字段进行操作。系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据,详情请参见明细及汇总表任务字段及批量操作

查看生产链路

单击可查看该表的生产链路图信息。详情请参见明细及汇总表任务字段及批量操作

查看消费链路

单击可查看该表的消息链路图消息。详情请参见明细及汇总表任务字段及批量操作

查看物化代码

查看该逻辑表任务的物化代码。

查看补数据实例

查看并运维补数据操作生成的实例。

补数据

对逻辑表任务节点进行补数据操作,详情请参见附录:周期任务补数据

明细及汇总表任务DAG节点支持的操作

DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中明细及汇总表任务节点,您可以对任务进行相关的运维操作。

image

操作

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看周期实例

查看当前节点的周期实例。

查看补数据实例

查看当前节点的补数据实例。

展开物化节点

展开当前逻辑表任务节点的物化节点,可查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。

image

查看物化代码

查看当前节点的物化代码。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

查看生产节点

查看Prod项目中该任务配置。

补数据

对逻辑表任务节点进行补数据,详情请参见周期明细汇总表补数据。

查看操作日志

查看当前节点的操作日志。

字段及批量操作

进入字段及批量操作列表,并针对字段进行操作。系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据,详情请参见明细及汇总表任务字段及批量操作

查看生产链路

单击可查看该表的生产链路图信息。详情请参见明细及汇总表任务字段及批量操作

查看消费链路

单击可查看该表的消息链路图消息。详情请参见明细及汇总表任务字段及批量操作

明细及汇总表任务字段及批量操作

image

操作

描述

查看生产链路

查看单个逻辑表字段的生产链路。

image

当某个字段被冗余到多个物化节点时,您可以在选择生产链路的下拉列表中,查看不同的生产链路。

您也可以单击逻辑表任务节点,查看节点信息,单击查看节点详情后,可以查看节点详情、操作日志和节点代码。

查看消费链路

查看逻辑表单个字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。

image

您也可以单击下游节点,查看节点信息。

补数据

详情请参见附录:周期任务补数据

  • 本页导读 (0)
文档反馈