文档

分层存储

更新时间:

MaxCompute分层存储支持标准存储、低频存储和长期存储,默认情况下为标准存储。您可以根据数据的访问频率,将某些表或分区的存储类型设置为低频存储或长期存储,实现数据的冷热分层,以降低数据存储费用。

申请开通使用

目前分层存储处于邀测阶段,如需您需要使用此功能,请单击申请开通,在新功能试用申请页面申请开通使用分层存储功能。关于新功能申请介绍详情,请参见新功能试用申请

分层存储类型介绍

存储类型

描述

标准存储

默认存储类型,适用于经常访问数据并对数据进行频繁读写操作的场景。

低频存储

适用于不需要频繁访问的数据,能够有效降低存储费用。

说明
  • 不支持PAI和Hologres直接访问。

  • 如果访问数据量大或访问频次过多,可能会导致费用高于标准存储费用,例如:

    • 一个月全量访问一次低频存储的表或分区产生的费用,将等于标准存储的费用。

    • 六个月全量访问一次长期存储的表或分区产生的费用,将等于标准存储的费用。

长期存储

分层存储计费

存储类型

计费公式

价格

说明

标准存储

日存储费用=日存储量平均值×单价

  • 一般情况下,计费单价如下:

    • 公共云:0.004元/GB/天。

    • 金融云:0.0076元/GB/天。

  • 当项目的实际数据存储量大于0 MB小于等于512 MB时,计费单价如下:

    • 公共云:0.01元/天。

    • 金融云:0.019元/天。

日存储量平均值=采集到的存储量之和÷24

低频存储

  • 日存储费用=日存储量平均值×单价

  • 数据访问费=数据访问量×单价

  • 低频存储计费单价如下:

    • 公共云:0.00266元/GB/天。

    • 金融云:0.00505元/GB/天。

  • 低频存储数据访问费单价如下:

    • 公共云:0.04元/GB。

    • 金融云:0.076元/GB。

  • 日存储量平均值=采集到的存储量之和÷24

  • 当低频存储的表或者分区转成标准存储或者长期存储时,会收取当前整张表或者分区的低频存储访问费。

  • 当长期存储的表或者分区转成标准存储或者低频存储时,会收取当前整张表或者分区的长期存储访问费。

长期存储

  • 日存储费用=日存储量平均值×单价

  • 数据访问费=数据访问量×单价

  • 长期存储计费单价如下:

    • 公共云:0.0011元/GB/天。

    • 金融云:0.0021元/GB/天。

  • 长期存储数据访问费单价如下:

    • 公共云:0.522元/GB。

    • 金融云:0.9918元/GB。

  • 关于存储计费的详情介绍,请参见存储费用

  • 您可以登录用户中心,在账单管理 > 账单详情页面,查看不同存储类型的费用,其中标准存储、低频存储和长期存储对应的计费项名称分别是存储、分层存储-低频和长期存储。具体操作,请参见查看账单详情

注意事项

  • 当前开启MaxCompute Schema功能的项目不支持分层存储。

  • 当前低频存储和长期存储类型的数据不支持PAI和Hologres直接访问。

  • 当表或分区设置为低频存储或长期存储时,请注意访问数据量和频次,如果访问数据量大或访问频次过多,可能会导致费用高于标准存储费用。

    • 一个月全量访问一次低频存储的表或分区产生的费用,将等于标准存储的费用。

    • 六个月全量访问一次长期存储的表或分区产生的费用,将等于标准存储的费用。

设置存储类型

说明

存储类型之间可以相互转换,且修改存储类型不会影响数据访问。

命令格式

ALTER TABLE <TABLE_NAME> [partition(PARTITION_SPEC)]
        SET <TBLPROPERTIES|PARTITIONPROPERTIES>("storagetier"="standard|lowfrequency|longterm");

参数说明

  • TABLE_NAME:必填,待修改的表或者分区存储类型的表名称。

  • PARTITION_SPEC:当修改分区存储类型时必填。

  • TBLPROPERTIES|PARTITIONPROPERTIES:修改表或分区的存储类型,取值说明:

    • TBLPROPERTIES:修改表的存储类型。

    • PARTITIONPROPERTIES:修改分区的存储类型。

  • storagetier:必填,分层存储类型,取值说明:

    • standard:标准存储,只收取存储费用。

    • lowfrequency:低频存储,会收取存储费用和低频存储数据访问费用。

    • longterm:长期存储,会收取存储费用和长期存储数据访问费用。

说明

仅支持对分区表的分区设置分层存储,不支持对分区表设置分层存储。

使用示例

  • 示例一:设置非分区表的存储类型为低频存储。

    ALTER TABLE tablename
            SET TBLPROPERTIES("storagetier"="lowfrequency");

    查看表属性,可以通过StorageTier字段确认当前的存储类型。

    --查看表属性
    DESC extended tablename;  
    
    ---返回结果如下
    +-------------------------------------------------------------------+
    | Owner:                    ALIYUN$mofan_****@test.aliyunid.com      |
    | Project:                  mf_mc_****                                |
    | TableComment:                                                     |
    +-------------------------------------------------------------------+
    | CreateTime:               2021-11-18 15:14:00                     |
    | LastDDLTime:              2023-09-11 14:34:55                     |
    | LastModifiedTime:         2023-09-13 15:02:28                     |
    | LastAccessTime:           2023-09-14 10:50:57                     |
    +-------------------------------------------------------------------+
    | InternalTable: YES      | Size: 1923683131                        |
    +-------------------------------------------------------------------+
    | Native Columns:                                                   |
    +-------------------------------------------------------------------+
    | Field| Type| Label |ExtendedLabel| Nullable| DefaultValue|Comment |
    +-------------------------------------------------------------------+
    | empno    | bigint |       |               | true     | NULL  |    |
    | ename    | string |       |               | true     | NULL  |    |
    | job      | string |       |               | true     | NULL  |    |
    | mgr      | bigint |       |               | true     | NULL  |    |
    | hiredate | datetime |     |               | true     | NULL  |    |
    | sal      | bigint |       |               | true     | NULL  |    |
    | comm     | bigint |       |               | true     | NULL  |    |
    | deptno   | bigint |       |               | true     | NULL  |    |
    +-------------------------------------------------------------------+
    | Extended Info:                                                    |
    +-------------------------------------------------------------------+
    | TableID:                  8e0cc78c81ab4ad7af30bff7a8e****         |
    | IsArchived:               false                                   |
    | PhysicalSize:             5771049393                              |
    | FileNum:                  3                                       |
    | StoredAs:                 AliOrc                                  |
    | CompressionStrategy:      normal                                  |
    | odps.timemachine.retention.days: 1                                |
    | ColdStorageStatus:        N/A                                     |
    | encryption_enable:        false                                   |
    | StorageTier:              lowfrequency                            |
    | StorageTierLastModifiedTime:  2023-09-11 14:34:55                 |
    +-------------------------------------------------------------------+
  • 示例二:设置分区表bank_data_pt相应分区的存储类型为低频存储。

    ALTER TABLE bank_data_pt  PARTITION (credit='yes') SET PARTITIONPROPERTIES ("storagetier" = 'lowfrequency');

    查看分区属性,可以通过StorageTier字段确认当前的存储类型。

    --查看分区属性
    DESC extended bank_data_pt PARTITION(credit='yes');  
    --返回结果
    +------------------------------------------------------------------------------------+
    | PartitionSize: 0                                                                   |
    +------------------------------------------------------------------------------------+
    | CreateTime:               2024-05-10 10:28:16                                      |
    | LastDDLTime:              2024-05-10 10:31:01                                      |
    | LastModifiedTime:         2024-05-10 10:28:16                                      |
    +------------------------------------------------------------------------------------+
    | IsExstore:                false                                                    |
    | IsArchived:               false                                                    |
    | PhysicalSize:             0                                                        |
    | FileNum:                  0                                                        |
    | ColdStorageStatus:        N/A                                                      |
    | StorageTier:              LowFrequency                                             |
    | StorageTierLastModifiedTime:  2024-05-10 10:31:01                                  |
    +------------------------------------------------------------------------------------+

查看不同存储类型的数据大小

  1. 登录MaxCompute控制台,在左上角选择地域。

  2. 在左侧导航栏选择工作区 > 项目管理

  3. 单击目标项目操作列中的管理

  4. 参数配置页签,查看不同存储类型的数据大小。

    image.png

  • 本页导读 (1)
文档反馈