DADI(Data Accelerator for Disaggregated Infrastructure)是阿里云镜像仓库ACR提供的镜像加速能力。DADI的Overlaybd镜像格式实现了基于网络的按需读取功能,相比于传统的分层tar包文件格式,实现了容器的快速启动。PAI集成了DADI,您可以在DSW或DLC中使用DADI加速镜像,来提升模型训练速度。本文为您介绍如何在DSW或DLC上按需使用DADI加速镜像。
前提条件
已开通PAI(DSW、DLC)并创建了工作空间,详情请参见开通PAI并创建默认工作空间。
开通阿里云容器镜像服务。
已创建企业版实例,更多信息,请参见创建企业版实例。
说明请确保您创建的企业版实例为标准版或高级版。
已在企业版实例中配置ACK或ACK Serverless集群对应的专有网络。加速镜像需要在专有网络中使用,更多信息,请参见配置专有网络的访问控制。
转换加速镜像
目前支持仓库级别配置,自动将推送的原始镜像转换为加速镜像。镜像转换时间取决于您的镜像大小,原始镜像不受任何影响。
加速镜像的命名空间和仓库名称与原始镜像保持一致,tag格式为原始镜像tag加_accelerated后缀。
在DLC或DSW中使用加速镜像
转换加速镜像后,加速镜像的命名空间和仓库名称与原始镜像保持一致,tag格式为原始镜像tag加_accelerated
后缀。您可以通过使用自定义镜像的方式在DLC或DSW中按需使用加速镜像。
使用加速镜像创建DLC任务
在工作空间中创建DLC任务,其中关键参数配置如下,其他参数配置详情,请参见创建训练任务。
节点镜像:选择镜像地址,并在文本框中配置加速镜像地址,加速镜像地址的格式为在普通镜像URL地址后添加
_accelerated
后缀。专有网络配置:当资源组选择公共资源组时,需要配置专有网络。请选择企业版ACR实例中引用的VPC网络。
使用加速镜像创建DSW实例
在工作空间中创建DSW实例,其中关键参数配置如下,其他参数配置详情,请参见创建及管理DSW实例。
选择镜像:在镜像URL页签配置加速镜像地址,加速镜像地址的格式为在普通镜像URL地址后添加
_accelerated
后缀。网络配置:当资源配额选择公共资源组时,需要进行网络配置。请选择企业版ACR实例中引用的VPC网络。
相关文档
更多关于DLC或DSW产品的内容详情,请参见:
- 本页导读 (1)