本文介绍如何通过向导将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中,即创建OSS数据仓库(创建Schema)。

操作步骤

  1. 登录Data Lake Analytics管理控制台
  2. 在页面左上角,选择DLA所在地域。
  3. 在左侧导航栏单击数据湖管理 > 数据入湖
  4. 数据入湖页面,单击一键建仓中的进入向导
  5. 根据系统提示进行授权,授权完成后单击下一步

    DLA访问OSS、RDS、PolarDB for MySQL、MongoDB时,需要您将OSS、RDS、PolarDB for MySQL、MongoDB的只读权限授予DLA。授权操作只需一次,后续使用一键建仓时无需再次授权。

    创建Schema
  6. 根据页面提示,进行参数配置。
    说明 您可以根据实际业务数据的存储方式,选择将RDS、PolarDB for MySQL、MongoDB数据或者ECS自建数据库数据同步到OSS。
    创建数据源
    类别 参数 说明
    云RDS、PolarDB for MySQL、MongoDB 类型 数据源的类型为RDS、PolarDB for MySQL、MongoDB。

    通过单击实例前的圆圈,将实例添加到数据来源中。

    实例自定义名称 实例的备注名称。
    实例ID 实例的ID,系统将自动拉取与DLA同地域的实例。

    支持模糊搜索实例。

    自建数据库 ECS ID ECS自建数据库中ECS实例的ID。
    说明 对于ECS自建数据库,您需要手动将反向访问地址段100.104.0.0/16添加到ECS白名单中。
    VPC ID ECS实例中的VPC ID。
    Engine ECS自建数据库的类型。
    数据来源 服务器 设置一键建仓中RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库数据源。
    端口 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库的连接端口。
    用户名 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库的数据库账号名。
    密码 用户名对应的密码。
    Schema名称 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库中的数据库名称。

    配置好数据源后,单击测试连接,进行连通性测试。

    建仓配置 Schema名称 设置Schema的名称,即RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库在DLA中的映射数据库名称。
    数据位置 建仓时,RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据在OSS中的详细存储地址。

    系统将自动拉取与DLA同地域的OSS Bucket。根据业务需要,选择Bucket和Object。

    使用一键建仓功能时,DLA需要有删除OSS数据的权限,以便进行从OSS数据到RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库的ETL(Extract Transform Load)操作,具体请参见授权DLA删除OSS文件

    调度时间 设置将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS的时间。

    系统默认的数据同步时间是00:30,您可以根据业务规律,将数据同步时间设置在业务低峰期,以免同步过程中可能对业务造成的影响。

    高级选项 自定义设置项,例如过滤字段等。
  7. 完成上述参数配置后,单击创建,创建OSS数据仓库。
    说明 数仓创建成功后,DLA自动在您设定的同步时间将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中,同时在OSS中创建与RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库相同的表结构,在DLA中创建对应的OSS表。