MaxCompute管家是为您提供作业信息查看、资源消耗查看(包含存储和CU资源)、项目查看及调整、配额组增删改查等涉及日常运维能力的管理平台。本文针对MaxCompute管家提供的各能力点进行详细介绍。

前提条件

已购买MaxCompute包年包月CU资源。详情请参见计算费用(包年包月)
说明
  • 如果您购买的CU资源较少,无法发挥CU资源及MaxCompute管家的优势。
  • 禁用阿里云账号的AccessKey,会导致其名下的RAM用户无法使用MaxCompute管家。

进入MaxCompute管家

您可以按照如下步骤进入MaxCompute管家。
  1. 登录MaxCompute控制台,在左上角选择地域。控制台
  2. 单击管家页签,即可进入MaxCompute管家页面。

概览

您可以在概览页面的包年包月概览区域,按照不同的配额组和时间段查看当前使用CU总CU当前存储量CU资源使用趋势存储使用趋势
说明 按量计费概览区域暂无信息。
概述
字段 说明
配额组 指定需要查看的配额组信息。默认为空,表示查看全部配额组。

您也可以在配额组右侧设置需要查询的时间段,默认为最近24小时。

当前使用CU 指定配额组下的全部项目在搜索截止时刻的CU资源使用量。单击CU资源使用趋势图中的某个点后,可以查看该点的作业快照。
说明 当有自定义配额组,且为共享型配额组(预留CU的最大值 > 最小值)时,可能会出现某一时刻,为了保障最小值,出现每个配额组当前使用的CU量总和大于购买量的情况。
总CU
  • 配额组为空时(即选择所有配额组):总CU=(搜索截止时刻的订单预留CU)+(搜索截止时刻的订单非预留CU)
  • 配额组非空时(即指定单个配额组):总CU=(搜索截止时刻的指定配额组预留CU最大配额)+(搜索截止时刻的指定配额组非预留CU最大配额)
当前存储量 指定配额组下的全部项目在搜索截止时刻的存储资源使用量。
申请CU趋势 指定配额组下的全部项目在搜索时段内计划申请的CU资源量(包括预留CU资源和非预留CU资源)。
已用CU趋势 指定配额组下的全部项目在搜索时段内实际使用的CU资源量(包括预留CU资源和非预留CU资源)。
总CU趋势 购买的CU量(包括预留CU资源和非预留CU资源)。
存储大小趋势 指定配额组下的全部项目在搜索时间段内的存储使用量。

查看作业运行情况

MaxCompute管家每2分钟会采集1次作业运行快照。您可以通过作业快照,查看某个时间点配额组中的作业运行情况。每个时间点的作业快照信息是固定的,便于追溯每个时间点的配额组资源使用情况。

单个作业在执行过程中可能会被采集到多个快照信息,每个快照信息状态可能不一致。例如作业某个时间点的状态是运行中,您可以查看后续时间点的作业快照了解下一个运行状态信息。
  1. 在左侧导航栏,单击作业
  2. 作业快照页签,选择需要查询的配额组或项目名称,并选择时间段,查看包年包月或按量计费项目的作业快照。
    说明概览页面,单击CU资源使用趋势图中的某个点后,可以查看该点的历史作业快照。
    88
    列名 说明
    InstanceID 每个MaxCompute作业都会生成一个Instance。您可以单击InstanceID跳转至Logview页面,查看具体的作业进度。查看Logview的方法,请参见使用Logview查看作业运行信息
    提交人 运行MaxCompute作业的阿里云账号。您可以根据账号信息找到作业所属责任人。如果某个作业占用资源较多,影响其他任务运行,可以联系对应责任人停止作业。停止作业的方法,请参见实例操作
    项目 Instance所属项目名称。
    配额组 仅支持选择包年包月配额组。按量计费作业无此信息。
    DataWorks节点ID 运行MaxCompute作业的DataWorks节点ID。如果此项为空,表示不是通过DataWorks节点提交的作业。
    优先级 包年包月作业的排队序号。按量计费作业无此信息。

    取值范围:0~9,数值越小,优先级越高。

    付费模式 Instance所属项目的计费方式,包含包年包月和按量计费。
    CPU使用占比(%) Instance实际使用的CPU资源占配额组最大值的比例。按量计费作业无此信息。
    内存使用占比(%) Instance实际使用的内存资源占配额组最大值的比例。按量计费作业无此信息。
    运行状态 Instance的运行状态。
    作业类型 Instance的作业类型。
    等待时长 等待运行资源的时长。
    运行时长 Instance运行的时间。
    提交时间 Instance的提交时间。
  3. 作业快照页签,单击包年包月项目作业快照按量付费项目作业快照区域右上角的1图标,开启自动刷新功能并自定义刷新间隔自定义刷新

    如果您需要关闭自动刷新功能,在作业快照页签,单击包年包月项目作业快照按量付费项目作业快照区域右上角的暂停图标即可。

终止作业

作业责任人可以单个或批量终止不再需要运行的作业。批量终止作业时,一次不能超过10个。
  1. 作业快照页签,单击作业列表上方的终止作业
  2. 终止作业对话框,输入待终止作业对应的instance Id列表备注信息,以包年包月项目为例。终止作业
  3. 单击执行,终止作业运行。

查看作业快照操作记录

MaxCompute管家支持查看作业快照操作记录,记录保存期限为7天。
  1. 在左侧导航栏,单击作业
  2. 单击作业快照操作记录页签,查看作业快照操作记录。变更记录
  3. 单击某个操作记录右侧的查看详情,查看作业操作详情。详情

查看存储资源消耗

您可以通过项目页面,了解存储资源的消耗情况。MaxCompute管家每小时采集1次存储量。
  1. 在左侧导航栏,单击项目,进入包年包月和按量计费项目页面。
    列表中会显示项目的已用存储量。您也可以在右上角选择配额组,查看已用存储量。查看存储量
  2. 单击指定项目名称,查看项目某段时间的存储情况。查看存储量
  3. 选择查看的时间段。单击时间下拉框,选择开始时间和结束时间,单击确定

查看CU资源消耗

您可以通过配额页面,查看包年包月项目的CU资源消耗。MaxCompute管家每2分钟采集1次CU资源。
说明 按量计费配额组区域暂无信息。
  1. 在左侧导航栏,单击配额配额
  2. 包年包月配额组区域,单击指定的配额组,查看CU资源消耗情况。资源消耗
  3. 选择查看的时间段。单击时间下拉框,选择开始时间和结束时间,单击确定
    说明 选择的区间不同,配额组数据展示的粒度不同。

设置配额组

您可以在配额页面,新建、修改或删除配额组,以及设置分时。仅支持设置包年包月项目的配额组,不支持设置按量计费项目的配额组。配额组设置
具体操作见下表。
操作名称 说明 操作步骤
新建配额组 新建一个配额组。创建配额组后,您可以通过项目 > 修改,将项目指定到配额组下,即该项目的计算任务默认使用该配额组的计算资源。
  1. 单击新建配额组
  2. 新建配额组对话框,设置配额组名称预留CU最小配额预留CU最大配额非预留CU最大配额标签单作业CU上限是否独占开启优先级
    说明
    • 非预留CU最大配额即包年包月里的非预留计算资源。详情请参见计算费用(包年包月)
    • 标签用于指定作业的配额组。如果提交作业时设置的标签和某个配额组属性中的标签相同,作业会被优先调度到该配额组中,详情请参见Quota Tag
    • 标签名称尽量不要重名,否则作业会随机调度到其中一个配额组,而不是均匀分布在多个配额组。
    • 单作业CU上限即对在此配额组执行的作业设置CU并发上限,为空表示不限制,为0表示绝对限制,可输入正整数进行合理设置。适用于防止单作业长时间占用大量CU导致其他作业等待资源。同时支持作业级别进行限制,在执行的代码前使用set odps.task.max.concurrent.cu=<CU量>; 命令进行设置,作业级别的配置优先级高于配额组级别的配置。
    • 是否独占:是否强独占配额组,即配额组的CU即使空闲也不被其他配额组占用。适用于跑BI/ALGO等业务的配额组因随时都可能使用,需防止被其他配额组占用长时间不释放(当Quota的max值>min值时有可能会去占用其他空闲的Quota)。
    • 开启优先级即优先级功能(作业优先级),在此配额组上执行的作业将优先执行,或者Project级别开启也同样生效。
  3. 单击执行,完成新建配额组。
修改配额组 修改创建好的配额组。
  1. 在需要修改的配额组右侧,单击修改
  2. 修改配额组对话框,修改每个时段的预留CU最小配额预留CU最大配额非预留CU最大配额标签单作业CU上限是否独占开启优先级
  3. 单击执行,完成修改配额组。
删除配额组 支持删除创建好的配额组。如果当前配额组下有项目,则无法删除。您需要先把项目指定到其他配额组才可删除。
  1. 在需要删除的配额组右侧,单击删除
  2. 删除配额组对话框,单击执行,完成删除配额组。
设置分时 设置配额组的分时时间段,可以满足不同业务项目在不同时间段对预留CU资源的需求。例如,生产Project,夜间CU资源需求高,白天CU资源需求低;开发或分析Project,夜间CU资源需求低,白天CU资源需求高。您可以对配额组设置分时,隔离生产和开发,提升CU资源使用率。配置规则如下:
  • 配额组的默认分时时间段为00:00:00~23:59:59。最多支持设置3个时间段。所有配额组支持设置同一个分时规则。
  • 只支持设置整点时间段,如00:00:00~07:00:00,最后一个时段的截止时刻必须为23:59:59。
  • 不支持设置非预留CU资源配额组的分时时间段。
  • 不支持自定义默认配额组的分时相关配置。
  1. 单击设置分时
  2. 设置分时对话框,按照需要增加时间段,单击开启分时
  3. 设置自定义配额组不同时间段的预留CU量。如果已有自定义配额组,单击指定配额组右侧的修改后,单击每个时间段右侧的编辑图标,设置最大和最小预留CU量。如果没有自定义配额组,您可以单击新建配额组进行设置。
    说明 如果配额组的全天最小或最大预留CU量需要保持一致,设置所有时间段的CU量都相同。同一个时间段,所有配额组预留CU量的最小值总和等于购买量。
  4. 单击保存,完成分时设置。
  5. (可选)关闭分时。如果设置的分时时间段不合理或需要调整,您可以单击设置分时。在设置分时对话框,单击关闭分时。配额组的预留CU量为关闭前的时间段所设置的CU量。
  6. (可选)修改分时。不支持直接在已设置的分时上修改分时时间段,您需要先关闭分时,再开启分时,配置新分时时间段,并修改各个自定义配额组中不同时间段的预留CU量。
说明
  • CU资源升级或降配时,默认配额组的最大、最小CU量会相应变化,其它配额组的配置不会改变。
  • 如果降配后的CU量小于默认配额组的最小配额,则降配失败。
  • 最大配额为最高分配资源,最小配额为最小保障资源。

配额组配置示例

假设,有预留CU资源60 CU,非预留CU资源0 CU,供A和B两个组使用,分配方式如下:
  • 未开启分时设置
    • 资源组独享

      [最大CU,最小CU,弹性最大CU]:A组为[40,40,0],B组为[20,20,0]

    • 资源组倾斜

      [最大CU,最小CU,弹性最大CU]:A组为[60,40,0],B组为[40,20,0]

  • 开启分时设置

    假设数据仓库中存在生产Project、开发Project和分析Project,生产高峰在00:00:00~08:00:00时间段,开发和分析高峰在08:00:00~23:59:59,分时配置如下。

    • 设置两个时间段,时段1为00:00:00~08:00:00,时段2为08:00:00~23:59:59。
    • 时段1的配额组[最大CU,最小CU,弹性最大CU]:自定义配额组为[60,50,0],默认配额组为[60,10,0]
    • 时段2的配额组[最大CU,最小CU,弹性最大CU]:自定义配额组为[60,20,0],默认配额组为[60,40,0]
    • 自定义配额组关联生产Project,开发和分析Project关联默认配额组。

目前不同的配额组暂不支持设置调度优先级,CU资源使用遵循先到先得、不抢占的原则。例如,60 CU由A和B两个组使用,分配[最大CU,最小CU,弹性最大CU]为:A组[40,20,0],B组[30,10,0]。假设A组先占用了40 CU的资源,则B组只能使用20 CU的资源,此时B组无法抢占A组已占用的资源。假设A组在使用一段时间后,释放了40 CU中的10 CU资源,则B组可以使用30 CU资源。

修改项目配额组

支持将包年包月项目当前指定的配额组修改为其它配额组,新建的配额组可通过该功能隔离CU资源。
  1. 在左侧导航栏,单击项目
  2. 包年包月项目区域,单击需要修改配额组的项目右侧的修改
  3. 修改配额组信息对话框,从配额组下拉列表中,选择配额组。修改配额组
  4. 单击执行,完成修改。

SQL周期任务持续空输出和全表扫描推荐

MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并进行优化,避免产生不必要的资源消耗。

您可以单击最近一次InstanceID列的Logview链接,查看作业具体运行信息,例如作业类型、提交人,并判断是否需要优化对应的SQL脚本。

如果您确认作业持续空输出或持续全表扫描的行为是符合预期的,不希望继续推荐,请在推荐设置页签,单击目标推荐项操作列的取消订阅,即可关闭推荐。

推荐

SQL周期任务适合启用动态过滤器推荐

MaxCompute支持定期检查并列出可结合动态过滤器治理的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并参照动态过滤器(Dynamic Filter)进行优化,避免产生不必要的资源消耗,并提升作业执行性能。

您可以单击最近一次InstanceID列的Logview链接,查看作业具体运行信息,例如作业类型、提交人,并判断是否需要优化对应的SQL脚本。

如果您确认作业不需要继续推荐,请在推荐设置页签,单击目标推荐项操作列的取消订阅,即可关闭推荐。

启用动态过滤器推荐

包年包月项目支持按量计费配额

MaxCompute的包年包月项目,支持指定SQL使用按量计费CU资源,合理使用计算资源满足数据产出需求。您可以通过MaxCompute管家对包年包月项目设置按量计费配额,详情请参见包年包月项目使用按量计费资源