调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。

前提条件

请参见配置同步任务,已完成同步任务的配置。

背景信息

  • 系统仅支持周期性节点的同步任务进行调度配置。
  • 依赖关系是两个或多个节点之间的语义连接关系,同时上游节点的状态将影响其他下游节点的运行状态。
  • 配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。其次,根据节点设定的调度时间判断是否执行调度。
  • 当您在设定的调度时间之前提交的调度配置,会在设定的调度时间之后生效。而在设定的调度时间之后配置的依赖关系,只能间隔一天再生成实例。

操作步骤

  1. 登录Dataphin
  2. 在Dataphin首页,单击顶部菜单栏的研发,进入数据的开发页面。
    FAGA
  3. 选择开发 > 数据处理 > 同步任务,进入同步任务页面。
  4. 在左侧功能区,单击已完成配置的同步任务,进入该同步任务的同步管理页面,单击顶部的调度配置,进入调度配置页面。
  5. 调度配置页面,配置调度参数。
    1. 配置基本信息区域参数。
      系统自动生成的节点名称节点ID节点类型负责人,不支持修改。fagag
      参数 描述
      描述 填写对调度配置的简单描述。
      优先级 您可以选择节点调度任务执行的优先级优先级包括:
      • 最低优先级
      • 低优先级
      • 中等优先级
      • 高优先级
      • 最高优先级
      参数配置 节点参数配置是对代码中所用参数的具体赋值。您可以单击节点参数配置说明,查看Dataphin调度系统支持配置节从而支持节点调度时,参数值以变量替换执行点的时间参数及配置原则,进行配置参数。
    2. 配置调度配置区域参数。
      fagaga
      参数 描述
      时间属性 选择时间属性时间属性包括:
      • 正常调度:按照调度周期的时间配置调度,并正常执行,通常任务默认选中该项。
      • 空跑调度:按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。
      • 暂停调度:暂停调度后,会按照下面的调度周期时间配置调度,但是一旦调度到该任务会直接返回失败,不会执行。通常用于某个任务暂时不用执行,但后面还会继续使用的场景。
      调度周期 调度周期可选择小时分钟
      • 调度,即调度任务每天自动运行一次。新建周期任务时,系统默认的时间周期为每天0点运行一次。您可以根据需要,单击指定运行的时间点。
      • 调度,即调度任务每周的特定几天,在特定时间点自动运行一次。如果在没有被指定的日期时,为保证下游实例正常运行,系统会生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。
        例如,每周一、周二两天生成的实例会正常的调度执行,而周三、周四、周五、周六以及周日5天都是生成实例后直接设置为运行成功。gaga
      • 调度,即调度任务在每月的特定几天,在特定时间点自动运行一次。如果在没有被指定的日期时,为保证下游实例正常运行,系统会每天生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。
        例如,调度系统会自动为任务生成实例并运行。每月7日生成的实例会正常的调度执行,其它日期每天都是生成实例并直接设为运行成功。gaga
      • 小时调度,即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。或选择指定的时间点,调度系统会自动为任务生成实例并运行。
        例如,每天00:00~23:59的时间段内,每隔1小时会自动调度一次,因此调度系统会自动为任务生成实例并运行。gaaga
      • 分钟调度,即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。
        例如,每天00:00~23:59的时间段内,每隔5分钟会自动调度一次,因此调度系统会自动为任务生成实例并运行。gagaga
      依赖上周期 根据业务场景分析是否需要选中依赖上周期。如果您选中了,则需要选择依赖上个调度周期的节点:
      • 如果您选择了当前,则表示依赖当前节点的上个调度周期。
      • 如果您选择了自定义,则需在输入框中输入依赖上周期节点的名称关键字进行搜索节点。
    3. 配置依赖关系区域参数。
      fagfaa
      参数 描述
      上游依赖 通过执行如下操作,完成添加该节点任务调度时依赖的上游节点:
      1. 单击新建上游依赖
      2. 新建上游依赖对话框中,输入所依赖节点的输出名称的关键字进行搜索节点。
        说明 节点的输出名称是全局唯一的。
      3. 单击确定新增
      同时您还可以单击操作列下的fagaga,删除已添加的依赖节点。
      当前节点 通过执行如下操作,设置当前节点的输出名称,根据需要您可以设置多个输出名称,供其他节点依赖使用:
      1. 单击新增
      2. 新增当前节点输出对话框中,填写输出名称。输出名称的命名规则请尽量统一,一般命名规则为项目名.表名,以标识本节点产出的表,同时其他节点更好地选择调度依赖关系。
      3. 单击确定新增
      同时您还可以对当前节点已添加的输出名称执行如下操作:
      • 单击操作列下的fagaga,删除已添加的输出名称。
      • 单击操作列下的,查看下游节点。
  6. 完成调度参数配置后,单击确定,完成同步任务的调度配置。
  7. 单击页面右上角的fagag保存同步任务,然后单击fagag,完成同步任务的提交。
  8. 提交或发布代码任务。
    • 如果您的开发模式是Dev-Prod模式,则请参见发布管理,将代码任务发布到生产环境。
    • 如果您的开发模式是Basic模式,提交代码任务后即将代码任务发布到生产环境。