运维调度基于策略对建模研发、编码研发、数据萃取生成的代码任务进行调度与运维管控。运维调度包括全局运维、逻辑表运维、萃取运维三部分。

页面介绍

执行如下操作步骤,进入运维中心:
  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 进入运维页面:
    • 如果您最近一次访问的是BasicProd项目,则您可以通过以下任何一种方式进入全局运维页面:
        1. 单击运维调度,或单击调度运维后的进入
        2. 单击项目名称后的test图标,选择Dev项目。
        3. 在数据开发运维页面,单击全局运维,默认进入全局运维页面。
        1. 在Dataphin产品首页,单击顶部菜单栏的研发
        2. 单击项目名称后的test图标,选择Dev项目。
        3. 在数据开发页面,单击顶部菜单栏的运维,默认进入全局运维页面。
    • 如果您最近一次访问的是Dev项目,则您可以通过以下任何一种方式进入全局运维页面:
      • 单击运维调度,或单击调度运维后的进入,默认进入全局运维页面。
        1. 在Dataphin产品首页,单击顶部菜单栏的研发
        2. 在数据开发页面,单击顶部菜单栏的运维,默认进入全局运维页面。
    ceshi
在Dev-Prod开发模式中,Dev和Prod项目中的调度任务互相独立:
  • Dev项目中调度任务包括全局运维逻辑表运维
  • Dev项目的调度任务不支持自动运行,您可以手动运行执行调度生成实例。
  • Prod项目中调度任务包括全局运维逻辑表运维监控报警,仅Prod环境下可配置监控报警任务。
  • Prod项目中的调度任务将按照调度配置正常生成与运行,同时您还可以配置任务监控规则并报警。
  • 您可以单击项目名称后的图标,切换Dev项目和Prod项目。

    例如,当前处于开发环境下项目test_dev的运维调度页面,单击图标,切换为Prod生产环境,就会进入生产环境下test项目的运维调度页面。

在Basic开发模式中:
  • 运维调度包括萃取运维全局运维监控报警模块。
  • 调度任务将按照调度配置正常生成与运行,同时您还可以配置任务监控规则并报警。

任务

任务是指可以被生产环境调度运行对象。即您在开发环境中提交、发布上线的代码或脚本通过周期、手动触发的方式在生产环境运行。 任务又称为节点,调度运维中将节点分为3种:
  • 离线周期任务:这类节点会配置调度周期,Dataphin的作业调度系统会周期性地调度这类节点,每次节点被调度时都会生成对应的周期实例。
  • 离线手动任务:这类节点不会被系统自动触发,您可以根据需要自己手动运行对应的节点,每次运行手动节点会生成对应的手动实例。
  • 实时任务:这类节点需要手动执行正式实例或测试实例。
调度执行顺序,会根据配置的调度周期、依赖关系、任务优先级三者共同决定:
  • 每天晚上11点前更新节点的代码或配置,第二天生成的实例方会生效。
  • 实例运行时,会读取最新的节点代码和调度配置。
  • 调度支持的补数据时间范围是1970年-2099年,调度实例至多保留2周的实例信息。

实例

节点每运行一次生成一个实例。实例有4种不同的生成方式:
  • 离线周期实例:周期节点自动被系统调度触发生成,具有周期性。
  • 离线补数据实例:对节点进行补数据操作时产生。
  • 离线手动实例:运行手动节点生成。
  • 实时实例:正式实例或测试实例生成。

逻辑表

逻辑表运维包含2个模块:
  • 逻辑表任务用于从逻辑表视角切入,为您展现逻辑表内部任务关系。
  • 逻辑表实例用于查看已运行的逻辑表任务包含的节点实例及其状态。

萃取运维

萃取运维包含2个模块:任务和实例。萃取运维是从业务视角出发管理行为规则和标签相关任务和实例。