MaxCompute提供运维管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute管家运维管理作业。

功能入口

您可以按照如下步骤进入作业管理页面:

  1. 登录MaxCompute控制台,在左上角选择区域。控制台
  2. 单击管家页签,即可进入MaxCompute管家页面。
  3. 在左侧导航栏,单击作业后,在右侧单击作业管理,即可进入作业管理页面。作业管理

与作业快照的区别

作业管理与作业快照的区别如下。

区别 描述
功能定位
  • 作业管理:适用于数据开发人员,方便日常查看、终止MaxCompute作业。
  • 作业快照:适用于管理员,方便日常结合配额组查看某时刻的资源负载、终止MaxCompute作业。

终止MaxCompute作业的权限,请参见MaxCompute管家权限

数据范围
  • 作业管理:包含历史作业以及当前正在运行的MaxCompute作业,作业状态都是最新状态(终态)。
  • 作业快照:仅包含某个固定时刻的MaxCompute作业,任何时候查看作业状态都是这个固定时刻的状态。
过滤条件
  • 作业管理:按照时间段进行过滤,同时还提供作业状态、DataWorks节点ID、InstanceID、提交人等条件进行过滤,以便更贴合开发者日常关注的作业。
  • 作业快照:按照指定时刻查看该时刻MaxCompute作业的快照信息,只支持按照项目、配额组进行过滤。

功能介绍

您可以在作业管理页面通过配置过滤条件查询作业详情,同时也可以批量终止作业。具体功能点如下:

功能 参数 描述
过滤作业 日期范围 按照作业InstanceID生成的时间进行过滤,必须配置。默认范围为最近24小时。日期范围最长支持48小时。
您可以手动修改日期范围,或单击日期范围输入框,在选择时间面板快速配置日期范围:
  • 最近1小时
  • 最近1天
  • 最近2天
  • 选择具体时间段:在选择时间面板,选择需要查询的年、月后,单击选择时间,滑动鼠标选择时间段。
作业状态 按照作业运行状态进行过滤,必须配置。包括正在运行(Running)、运行完成(Terminated)、失败(Failed)、取消(Cancelled)。默认为正在运行(Running)状态。
配额组 按照配额组进行过滤。仅支持选择包年包月配额组。查询按量计费作业时,不需要配置该参数。默认为空。

更多配额组信息,请参见配额组设置

项目 按照MaxCompute项目名称进行过滤。您可以同时选择多个MaxCompute项目。默认为空。
SkynetID 高级查询参数。按照运行MaxCompute作业的DataWorks节点ID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。

您可以输入作业对应的DataWorks节点ID精准查找作业。默认为空。

更多DataWorks节点ID信息,请参见基础属性

InstanceID 高级查询参数。按照MaxCompute作业生成的InstanceID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。

您可以输入作业的InstanceID精准查找作业。默认为空。

更多InstanceID信息,请参见查看实例信息

提交人 高级查询参数。按照提交MaxCompute作业的账号进行过滤。默认为空。不支持模糊查询。
终止作业 您可以对处于正在运行(Running)状态的作业,执行批量终止操作。

查询到的作业详情内容与作业快照基本相同,请参见查看作业运行情况。您需要关注如下参数:

列名 说明
CPU累计使用量(CU×s) 仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORYTASKS_HISTORY视图的cost_cpu数据。
内存累计使用量(MB×s) 仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORYTASKS_HISTORY视图的cost_mem数据。

查看某个时段提交的作业运行详情

查看某个时间段提交的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围作业状态,同时配合其他条件进行过滤。

例如,如果您需要查看自己负责的Project_1、Project_2两个项目在当前这一天提交的作业,并分析哪些作业执行失败,以便对失败作业进行处理。推荐的查看方式为:
  1. 设置日期范围最近1天或设置日期范围为从这一天00:00:00开始到当前时间。
  2. 作业状态下拉列表选择Failed
  3. 项目下拉列表选择Project_1Project_2
  4. 单击确定

    您可以在查询结果列表中,单击InstanceID跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息使用Logview 2.0查看Job运行信息

查看具体作业运行详情

查看具体的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围作业状态,同时配合高级查询参数进行过滤。

例如,如果您需要查看某个DataWorks小时调度节点发起的作业运行情况,或需要对指定的MaxCompute作业进行审计。推荐的查看方式为:
  1. 根据实际需要设置日期范围
  2. 根据实际需要在作业状态下拉列表选择状态。
  3. 单击高级查询,展开高级查询参数。
  4. 配置SkynetIDInstanceID
  5. 单击确定

    您可以在查询结果列表中,单击InstanceID跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息使用Logview 2.0查看Job运行信息

查看查询加速作业

查看使用查询加速(MCQA)功能运行的MaxCompute作业在当前的运行情况。使用查询加速功能的作业,会出现多个SQL命令在同一个会话(Session)中执行的情况,一个会话对应一个InstanceID,您可以通过InstanceID对应的Logview查看该会话中所有SQL的运行情况。因此在作业管理页面查看查询加速作业时,您需要注意:
  • 会话未退出时,即部分SQL已完成,部分SQL还在运行,作业状态需要设置为Running
  • 会话过期退出或因为关闭界面退出时,作业状态需要设置为Cancelled