逻辑运维是Dataphin针对规范建模创建的逻辑表任务提供的字段视角运维功能,本文为您介绍逻辑运维的背景及操作。
请参见入口介绍,进入逻辑表任务页面。
背景信息
逻辑表任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑表任务对应一个逻辑表节点,系统会按照您设置的统计周期等参数自动进行调度配置,您可以从表视角或字段视角对需要运维的逻辑表任务进行操作。
逻辑表任务按照规范建模的物化拆分逻辑自动生成多个物化节点。每个逻辑表节点即多个物化节点的组合,可能存在多个字段或逻辑表任务节点归属于同一个物化节点。
规范建模采用动态物化逻辑,因此在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。
逻辑运维视角下,您只需要选择需要运维的字段或逻辑表任务节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

- 汇总逻辑表的负责人展示的是该汇总表包含所有指标的负责人,因此可能有多个责任人。
- 汇总逻辑表的优先级展示的是该汇总表包含所有指标的优先级,因此可能有多个优先级。
列表区
操作 | 描述 | 限制 | 影响 |
---|---|---|---|
查看周期实例 | 查看某个任务运行生产的周期实例。同时,您也可以对周期实例进行运维和管理。 | 任务已参与系统的调度,生成周期实例。 | 无 |
编辑开发节点 | 进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。 | Dev项目中该任务存在。 | 编辑开发节点后,需要提交并发布后,生产节点的数据才会更新。 |
编辑节点 | 编辑某个节点对应的逻辑表任务,仅适用于Basic模式。 | Basic项目中该任务存在。 | 提交成功后,对应的调度节点才会更新。 |
查看生产节点 | 进入Prod项目中,查看该任务配置。 | Prod项目中该任务存在。 | 无 |
查看物化代码 | 查看该逻辑表任务的物化代码。 | 无 | 无 |
查看补数据实例 | 查看并运维补数据操作生成的实例。 | 该任务已通过补数据操作生成补数据实例。 | 无 |
补数据 | 对逻辑表任务节点进行补数据操作,详情请参见补数据。 | 无 | 该任务节点数据刷新。 |
字段及批量操作 | 进入字段及批量操作列表,并针对字段进行操作。
系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据,详情请参见字段及批量操作。 |
无 | 无 |
查看生产链路 | 详情请参见字段及批量操作。 | 无 | 无 |
查看消费链路 | 详情请参见字段及批量操作。 | 无 | 无 |
DAG图
DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示main节点和其上下游节点。

编号 | 描述 |
---|---|
① | 逻辑表任务节点和物化节点展示的节点信息不同:
节点详情,请参见页面介绍。 |
② | 为您展示逻辑表任务节点及其上下游节点的DAG图。
|
操作 | 说明 |
---|---|
展开父节点 | 展开DAG图中main节点不同层级的依赖节点。 |
展开子节点 | |
查看周期实例 | 查看当前节点的周期实例,详情请参见列表区。 |
查看补数据实例 | 查看当前节点的补数据实例,详情请参见列表区。 |
展开物化节点 | 展开当前逻辑表任务节点的物化节点,查看该逻辑表任务节点的物化节点名称。右键单击或单击![]() |
编辑开发节点 | 进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。 |
编辑节点 | 编辑某个节点对应的逻辑表任务,仅适用于Basic模式。 |
查看生产节点 | 查看Prod项目中该任务配置。 |
补数据 | 对逻辑表任务节点进行补数据,详情请参见补数据。 |
查看操作日志 | 查看当前节点的操作日志。 |
字段及批量操作 | 进入字段及批量操作列表,并针对字段进行操作。
系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据,详情请参见字段及批量操作。 |
查看生产链路 | 详情请参见字段及批量操作。 |
查看消费链路 | 详情请参见字段及批量操作。 |
字段及批量操作
操作 | 描述 |
---|---|
查看生产链路 | 查看单个逻辑表字段的生产链路。
当某个字段被冗余到多个物化节点时,您可以在选择生产链路的下拉列表中,查看不同的生产链路。 您也可以单击逻辑表任务节点,查看节点信息,单击查看节点详情后,可以查看节点详情、操作日志和物化代码。 |
查看消费链路 | 查看逻辑表单个字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。
您也可以单击下游节点,查看节点信息。 |
补数据 | 详情请参见列表区。 |
补数据
- 新开发的任务,只能从第二天开始调度,历史分区的数据需要通过补数据实现。
- 上游依赖的任务重跑或者补数据导致历史分区数据刷新,下游任务也需要同步刷新。

参数 | 描述 |
---|---|
实例名称 | 系统自动生成,命名格式为节点名称_运行日期_实例化编号,您可以手动更改。 |
业务日期 | 选择需要进行补数据的业务日期区间,默认选中昨天,如果您只需要对单天进行补数据,则开始时间和结束时间选择相同日期即可。
说明 业务日期是调度系统默认参数。如果在配置任务的调度参数时,自定义了业务日期参数表达式,则系统按照自定义参数表达式进行计算转换。
|
并发运行分组 | 并发运行分组用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行1组最多并发运行12组。
|
选择字段 | 选择本逻辑表需要进行补数据的字段。
|
是否选择下游 | 选择是否为当前节点的下游节点补数据。当您选择是,系统会自动为您计算依赖当前选中节点的下游节点。
下游列表仅展示依赖当前逻辑表选中字段的节点。例如,当前逻辑表的字段A、B归属于同一个物化节点,此时选择对A补数据,因为物化连带关系,字段B也会被选中,则依赖字段A和字段B的下游节点均会展示在列表中,您可以根据业务需求选择是否对仅依赖B的下游节点进行补数据。 如果下游为逻辑表任务节点,则选择下游逻辑表任务节点时,仅和本逻辑表选中字段有依赖关系的下游逻辑表字段会被选中并执行补数据操作,其他无依赖关系的字段不会被选中。 |
在文档使用中是否遇到以下问题
更多建议
匿名提交