调度配置用于配置维度逻辑表任务节点,在生产环境调度的优先级、调度周期及调度依赖。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表任务节点的调度优先级、调度参数、调度周期及调度依赖。

步骤一:配置逻辑表任务调度的优先级及参数

优先级定义了同一时间同一批待调度任务的优先级。

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击顶部菜单栏中的研发
  4. 在数据开发页面,按照下图引导,进入维度逻辑表页面。
    gagaga
    说明 上图中①为示例,您根据需要选择目标项目。
  5. 维度逻辑表列表页面,单击目标维度逻辑表。
  6. 如果维度逻辑表的负责人不是您自己,则单击目标维度逻辑表页面右上角的test图标,解锁维度逻辑表。
    gagag
  7. 在目标维度逻辑表页面,单击顶部菜单栏的调度配置
  8. 调度配置页面的基本信息区域,配置逻辑表任务调度的优先级和参数。
    gagag
    参数 描述
    优先级 系统默认选择为中等优先级。您可以根据业务需求修改任务调度的优先级。系统支持的优先级包括最低优先级、低优先级、中等优先级、高优先级和最高优先级。
    参数配置 参数配置用于定义逻辑表任务调度的参数。例如,定义了${bizdate}=20210610,则系统调度任务时业务日期为20210610。

    关于更多的参数配置信息,请参见参数配置

步骤二:配置调度周期

根据业务场景选择本周期节点的运行,是否需要依赖上一周期本节点或其他节点的运行结果。

  1. 请参见步骤一:配置逻辑表任务调度的优先级及参数,进入调度配置页面。
  2. 调度配置页面,配置调度周期区域的参数。
    如果选择了需要依赖上周期本节点的运行结果,则需要配置如下参数。gagaga
    编号 描述
    选择节点类型。系统支持选择自定义本逻辑表内节点。适用场景说明如下:
    • 本周期节点是否运行取决于上一周期本节点是否正常产出数据,则需要选择本逻辑表内节点。只有上一周期本节点或自定义节点运行成功,才会启动运行本节点。
    • 维度逻辑表没有用到某个节点的产出表,但业务上需要依赖该节点的上一周期是否正常产出数据,则需要选择依赖自定义节点。
    • 如果节点类型选择为自定义,则执行以下操作,选择依赖字段:
      1. 单击节点ID显示框区域。
      2. 在节点ID列表中,选择节点ID。

        您也可以在下拉列表的输入框中,输入节点ID的关键字,快速搜索节点。

      3. 单击依赖字段显示框区域,在下拉列表中,选中依赖字段。

        您可以在下拉列表中的输入框中,输入字段名称关键字,快速查找字段。如果所有字段需要依赖,则选中全选

      4. 单击确定
    • 如果节点类型选择为本逻辑表内节点,则执行以下操作,选择依赖字段:
      1. 单击依赖字段显示框区域,在下拉列表中,选中依赖字段。

        您可以在下拉列表中的输入框中,输入字段名称关键字,快速查找字段。如果所有字段需要依赖,则选中全选

      2. 单击确定
    您可以单击fagag图标,添加多个依赖节点。

步骤三:配置调度依赖

上游依赖定义了业务流程之间的调度依赖关系。正确的调度依赖关系可以保障业务数据有效的产出。正确的依赖关系配置后,无需关心当前节点依赖的数据表是否正常产出数据,是否影响该节点的运行,系统会自动为您解析任务节点间的关联关系。
  • 依赖关系是两个或多个节点之间的调度依赖关系,控制节点运行顺序。同时上游节点的状态将影响其他下游节点的运行状态。
  • 配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。其次,根据节点设定的调度时间判断是否执行调度。
  • 您在设定的调度时间之前提交的调度配置,会在设定的调度时间之后生效。而在设定的调度时间之后配置的依赖关系,只能间隔一天再生成实例。
  1. 请参见步骤一:配置逻辑表任务调度的优先级及参数,进入调度配置页面。
  2. 调度配置页面,配置调度依赖区域的参数。
    调度依赖默认开启自动解析,系统自动解析该维度逻辑表的物化代码中依赖关系。同时,您也可以手动添加上游依赖的物理节点和逻辑表节点。trest
    分区 描述
    自动解析 系统根据配置的来源主表的类型进行自动解析:
    • 如果来源主表的类型为物理表,则Dataphin仅支持自动解析出上游依赖的物理节点。能成功解析出依赖的物理节点需要满以下两个条件:
      • Dataphin内已有基于来源主表生成的周期任务。
      • 周期任务的节点输出名称格式为项目名.表名
    • 如果来源主表的类型为逻辑表,即可将依赖的逻辑表节点对应的字段添加为上游依赖。
    上游依赖 为您展现该维度逻辑表所依赖的物理节点和逻辑表节点。 您也可以手动添加上游依赖的物理节点,适用场景说明如下:
    • 需要将非来源主表的任务节点,添加为维度逻辑表的上游依赖节点。
    • 节点输出名称的格式不是项目名.表名
    注意 上游依赖的逻辑表节点,不支持手动添加。
    手动添加上游依赖的物理节点,操作说明如下:
    1. 单击新增上游依赖
    2. 新建上游依赖对话框中,输入所依赖节点的输出名称的关键字进行搜索节点。
      说明 节点的输出名称是全局唯一的,且不区分大小写。
    3. 单击确定新增
    逻辑表节点(本节点) 维度逻辑表节点的输出名称由系统自动生成。
  3. 单击确定,完成任务的调度配置。
  4. 保存、提交和发布维度逻辑表。
    1. 单击维度逻辑表页面上方的teaga图标,保存维度逻辑表。
    2. 单击维度逻辑表页面上方的fagaga图标,提交维度逻辑表。
    3. 提交备注页面,填写备注信息。
    4. 单击确定并提交,完成维度逻辑表的提交。
    5. 如果项目空间的模式为Dev-Prod,则需要发布维度逻辑表至生产环境。如何发布,请参见管理发布任务
      发布至生产环境的维度逻辑表任务,即可参与生产环境的调度运维。更多信息,请参见逻辑表任务