逻辑运维是Dataphin针对规范建模创建的逻辑表任务提供的字段视角运维功能，本文为您介绍逻辑运维的背景及操作。

请参见入口介绍，进入逻辑表任务页面。

背景信息

说明 仅支持规范建模功能的项目可以查看逻辑表任务。

逻辑表任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑表任务对应一个逻辑表节点，系统会按照您设置的统计周期等参数自动进行调度配置，您可以从表视角或字段视角对需要运维的逻辑表任务进行操作。

逻辑表任务按照规范建模的物化拆分逻辑自动生成多个物化节点。每个逻辑表节点即多个物化节点的组合，可能存在多个字段或逻辑表任务节点归属于同一个物化节点。

规范建模采用动态物化逻辑，因此在物理运维视角下，您可能需要通过查看最新物化节点代码或运行日志的方式，了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。

逻辑运维视角下，您只需要选择需要运维的字段或逻辑表任务节点，系统会按照当前物化拆分方式自动计算对应的物化节点，并按照数据一致性和正确性原则，为您提示需要连带操作的相关字段，无需关心物理实现方式，帮助您缩短操作路径，降低运维成本，提升运维效率。

逻辑表任务列表的相关说明，请参见通用功能说明。test
说明
  • 汇总逻辑表的负责人展示的是该汇总表包含所有指标的负责人，因此可能有多个责任人。
  • 汇总逻辑表的优先级展示的是该汇总表包含所有指标的优先级，因此可能有多个优先级。

列表区

操作 描述 限制 影响
查看周期实例 查看某个任务运行生产的周期实例。同时，您也可以对周期实例进行运维和管理。 任务已参与系统的调度，生成周期实例。 无
编辑开发节点 进入Dev项目下该任务的编辑页面，编辑该任务，仅适用于Dev-Prod开发模式。 Dev项目中该任务存在。 编辑开发节点后，需要提交并发布后，生产节点的数据才会更新。
编辑节点 编辑某个节点对应的逻辑表任务，仅适用于Basic模式。 Basic项目中该任务存在。 提交成功后，对应的调度节点才会更新。
查看生产节点 进入Prod项目中，查看该任务配置。 Prod项目中该任务存在。 无
查看物化代码 查看该逻辑表任务的物化代码。 无 无
查看补数据实例 查看并运维补数据操作生成的实例。 该任务已通过补数据操作生成补数据实例。 无
补数据 对逻辑表任务节点进行补数据操作，详情请参见补数据。 无 该任务节点数据刷新。
字段及批量操作 进入字段及批量操作列表，并针对字段进行操作。

系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据，详情请参见字段及批量操作。

无 无
查看生产链路 详情请参见字段及批量操作。 无 无
查看消费链路 详情请参见字段及批量操作。 无 无

DAG图

DAG图清晰地为您展示任务节点的上下游依赖关系，同时系统支持对上下游节点进行运维和管理。DAG图默认展示main节点和其上下游节点。

tata
编号 描述
① 逻辑表任务节点和物化节点展示的节点信息不同：
  • 单击逻辑表任务节点后，展示逻辑表名、字段数量、所属业务板块。faga
  • 单击逻辑表任务节点的内部物化节点后，展示该物化节点的基本信息，包括节点名称、节点ID和该物化表对应的逻辑表字段数量。cfaga

节点详情，请参见页面介绍。

② 为您展示逻辑表任务节点及其上下游节点的DAG图。
  • 逻辑表任务节点框内，展示该逻辑表任务节点的字段和物化节点数量。
  • 鼠标悬停至逻辑表任务节点框内，右键单击或单击gagaga图标后，选择展开物化节点展开该逻辑表对应的内部物化节点。鼠标悬停至物化节点显示框内，右键单击或单击gagaga图标后，可以查看该物化节点的节点代码或对应的逻辑表字段。
  • 鼠标悬停至依赖关系可以查看依赖的字段，便于您了解下游节点和逻辑表之间的逻辑依赖关系。
鼠标悬停至逻辑表节点显示框内，右键单击或gege图标，进行相关操作：
  • 如果上、下游节点是逻辑表任务，系统支持的操作和main节点一致。main节点支持的操作，详情请参见表 1。
  • 如果上游是系统根节点，则系统仅支持展开父子节点。
  • 如果上、下游是脚本任务节点，则系统支持的操作与脚本任务DAG图的main节点支持的操作一致，详情请参见脚本任务。
表 1. 逻辑表节点支持的操作
操作 说明
展开父节点 展开DAG图中main节点不同层级的依赖节点。
展开子节点
查看周期实例 查看当前节点的周期实例，详情请参见列表区。
查看补数据实例 查看当前节点的补数据实例，详情请参见列表区。
展开物化节点 展开当前逻辑表任务节点的物化节点，查看该逻辑表任务节点的物化节点名称。右键单击或单击gagaga图标后，可以查看物化节点字段和物化代码。
编辑开发节点 进入Dev项目下该任务的编辑页面，编辑该任务，仅适用于Dev-Prod开发模式。
编辑节点 编辑某个节点对应的逻辑表任务，仅适用于Basic模式。
查看生产节点 查看Prod项目中该任务配置。
补数据 对逻辑表任务节点进行补数据，详情请参见补数据。
查看操作日志 查看当前节点的操作日志。
字段及批量操作 进入字段及批量操作列表，并针对字段进行操作。

系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据，详情请参见字段及批量操作。

查看生产链路 详情请参见字段及批量操作。
查看消费链路 详情请参见字段及批量操作。

字段及批量操作

操作 描述
查看生产链路 查看单个逻辑表字段的生产链路。

当某个字段被冗余到多个物化节点时，您可以在选择生产链路的下拉列表中，查看不同的生产链路。

您也可以单击逻辑表任务节点，查看节点信息，单击查看节点详情后，可以查看节点详情、操作日志和物化代码。

查看消费链路 查看逻辑表单个字段被依赖的情况，以便您运维该字段时，分析对下游节点的影响。

您也可以单击下游节点，查看节点信息。
补数据 详情请参见列表区。

补数据

补数据操作的适用场景：
  • 新开发的任务，只能从第二天开始调度，历史分区的数据需要通过补数据实现。
  • 上游依赖的任务重跑或者补数据导致历史分区数据刷新，下游任务也需要同步刷新。
test
参数 描述
实例名称 系统自动生成，命名格式为节点名称_运行日期_实例化编号，您可以手动更改。
业务日期 选择需要进行补数据的业务日期区间，默认选中昨天，如果您只需要对单天进行补数据，则开始时间和结束时间选择相同日期即可。
说明 业务日期是调度系统默认参数。如果在配置任务的调度参数时，自定义了业务日期参数表达式，则系统按照自定义参数表达式进行计算转换。
并发运行分组 并发运行分组用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数，系统支持最少并发运行1组最多并发运行12组。
  • 业务日期的跨度时间小于并发运行组数，则并行执行。例如，业务日期是1月11日~1月13日，并发运行组数为5，则会生成一个补数据实例文件夹，补数据实例文件夹下有三个业务日期的补数据实例。
  • 业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期顺序运行，不同组之间的实例并行运行。例如，业务日期是1月11日~1月13日，并发运行组数为2，11号和12号为一组，13号为一组，11号和13号的实例同时开始运行，12号的实例则会在11号的实例运行完成后开始运行。
选择字段 选择本逻辑表需要进行补数据的字段。
  • 如果主键或来源表变更，为了保障数据一致性和正确性，仅支持选择全表补数据模式。
  • 如果主键或来源表未发生变更，则支持自定义补数据模式，展示该逻辑表的字段列表，您可以选择需要补数据的字段，但受到如下约束：
    • 有变更字段：
      • 对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消勾选，保障数据按照最新计算逻辑运行。
      • 对于汇总逻辑表，系统会根据指标的业务相关性原则（引用相同的业务限定或原子指标）、归属同一物化节点的一致性原则，系统提示选中进行补数据的连带字段，提供数据正确性和业务稳定性的保障。

        例如，指标A和指标B的业务限定相同，当该业务限定发生变更时，选择指标A进行补数据，系统会自动根据业务相关性提示，连带选中指标B一起补数据。如果该业务限定未发生变更，则选中指标A补数据时，指标B可以不选，此时不会影响指标B的计算逻辑。

    • 无变更字段：您可以根据业务需求，选中需要补数据的字段。
是否选择下游 选择是否为当前节点的下游节点补数据。当您选择是，系统会自动为您计算依赖当前选中节点的下游节点。

下游列表仅展示依赖当前逻辑表选中字段的节点。例如，当前逻辑表的字段A、B归属于同一个物化节点，此时选择对A补数据，因为物化连带关系，字段B也会被选中，则依赖字段A和字段B的下游节点均会展示在列表中，您可以根据业务需求选择是否对仅依赖B的下游节点进行补数据。

如果下游为逻辑表任务节点，则选择下游逻辑表任务节点时，仅和本逻辑表选中字段有依赖关系的下游逻辑表字段会被选中并执行补数据操作，其他无依赖关系的字段不会被选中。