实时任务是指FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM类型的计算任务。本文为您介绍如何运维管理实时任务,包括查看实例、查看任务代码、查看任务参数等。

页面介绍

请参见入口介绍,进入实时任务页面。

实时任务页面以列表和DAG图的方式,为您展示已提交的实时任务。列表为您展示实时任务支持的运维管理操作,包括快速查看实时任务的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
  • 实时任务列表tey
    操作 描述
    筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。
    筛选项包括:
    • 我的任务:调度负责人为您自己的任务。
    • 我的已开启实例任务:筛选负责人为您自己,且已启动调度的任务。
    • 细分类型:包括FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM。
    • 最近操作人:最近一次操作任务的账号。
    • 负责人:任务的负责人。
    • 资源队列:任务运行的资源队列。
    • 引擎版本:任务运行的引擎版本。
    • 是否启动正式实例:正式实例是否已运行,仅适用于Prod和Basic项目。
    • 是否启动测试实例:测试实例是否已运行,仅适用于Dev项目。

    如果您需要重新选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    DAG图 单击操作列下的test图标或单击任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
    • 单击tegtwe图标,隐藏周期任务列表,放大DAG图。
    • 单击geg图标,隐藏DAG图。
    • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。
    单节点运维 上图②区域,支持对单节点进行运维管理,详情请参见列表区
    批量节点运维 上图③区域,支持选中多个节点(或快捷本页全选)进行运维管理,详情请参见批量操作区
  • DAG图taata
    编号 描述
    展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、操作日志、节点代码和任务参数。
    展示任务的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。
    • 鼠标悬停至main节点显示框,右键单击或单击gaga图标,对当前main节点进行运维管理,详情请参见DAG图
    • 鼠标悬停至上游节点显示框,右键单击或单击gaga图标,对当前节点进行运维管理,详情请参见

    针对跨项目的节点,系统仅支持展开父子节点和查看操作日志。您需要进入对应项目执行更多运维操作。

    快捷设置以main节点为中心向上向下的DAG图。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
    快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。

    同时,展示当前DAG图中main节点的节点ID和节点名称。

列表区

操作 描述 限制 影响
查看实例 查看实时任务运行生成的实例。 实时任务已启动运行,生成实例。
启动实例 启动实例的运行。 仅支持启动未启动运行的实例。
查看任务代码 查看实时任务节点的代码。
查看任务参数 查看实时任务节点定义的参数。
修改负责人 修改实时任务节点的责任人 仅支持选择项目内的成员。
配置监控报警 配置任务运行的监控规则,详情请参见实时监控配置 系统仅支持对Prod和Basic项目中的任务配置监控。 任务运行过程中,如果触发了监控规则,系统会给您发送告警消息,便于您及时发现异常,保障业务数据正常产出。

批量操作区

操作 描述 限制 影响
启动正式实例 支持同时启动运行多个实时任务。 仅适用于Prod和Basic项目,且选中的实时任务均未启动运行。
修改责任人 支持同时修改多个实时任务的责任人。 仅支持选择本项目内的成员。

DAG图

操作 描述
展开父节点 展开DAG图中main节点不同层级的依赖节点。
展开子节点
启动实时实例 实时实例的运行需要您收到启动:
  1. 单击启动正式实例
  2. 选择读取数据时点和测试方式。teat测试方式包括打印日志和写测试表:
    • 选择打印日志后,测试结果写入日志,不生成测试表。
    • 选择写测试表,则需要填写测试数据输出表名称。测试结果不写入日志,生成测试表。
  3. 单击启动
说明 系统仅支持启动未运行的实时任务。
查看实时实例 进入实时实例页面,查看当前实时任务生成的实时实例。
查看节点代码 查看实时任务节点的代码。
查看任务参数 查看实时任务节点的任务参数。
查看操作日志 查看实时任务节点的操作日志。
编辑开发节点 进入Dev项目下当前任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。
编辑节点 进入当前任务对应的编辑页面,编辑任务。仅适用于Basic模式。
查看生产节点 查看Prod项目中当前任务的配置。
查看任务参数 查看任务的参数。
查看拓扑结构 查看实时任务的资源组节点和组件节点。