离线整库迁移可以批量配置离线管道,一次性完成数据库内多张数据表的同步文件的配置。本文为您介绍如何配置离线整库迁移。

背景信息

整库迁移是为了提升用户效率、降低用户使用成本的一种快捷工具,它可以快速配置数据库内多张数据表的同步文件。

操作步骤

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击顶部菜单栏的研发
  4. 可选:在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
    如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
  5. 在数据开发页面,将鼠标悬停在顶部菜单栏的开发上,单击集成
  6. 在数据集成页面,您可以通过以下任何一种方式,进入新建整库迁移页面。
    • 将鼠标悬停在ddd图标,单击离线整库迁移vava
    • 将鼠标悬停在图标,单击离线整库迁移aga
  7. 根据新建整库迁移页面提示,配置参数。
    1. 配置基本信息区域参数。
      gaagf
      参数 描述
      脚本名称 填写脚本名称脚本名称由字母、数字或下划线(_)组合组成,且字符长度为64个字符以内。
      描述 填写脚本管道的简单描述。
    2. 配置数据源。
      fava
      分区 参数 描述
      同步来源 数据源类型 选择数据源类型。系统支持的数据源类型包括:
      • MySQl
      • Oracle
      • SQL_Server
      数据源 选择数据源,您也可以单击新建数据源创建数据源,详情请参见数据源faf
      同步目标 数据源类型 选择数据源类型,目前系统仅支持的Max_Compute
      数据源 选择数据源,您也可以单击新建数据源创建数据源。详情请参见数据源ffaf
    3. 配置同步数据表。
      ceshi
      参数 描述
      来源表 选择来源表。
      对应Maxcompute表 选择 来源表后,生成 对应Maxcompute表,名称默认与源表名一致。
      转换配置 选择 来源表后,生成 对应Maxcompute表,名称默认与源表名一致,如果您需修改 来源表的数据:
      1. 单击 转换配置
      2. 编辑转换规则页面:
        • 单击 表名转换后的 新增规则,根据页面提示完成参数配置,即可修改来源表名。
        • 单击 字段名转换后的 新增规则,根据页面提示完成参数配置,即可修改来源表中的字段名称。
        • 表名前缀输入框中填写表名前缀。
        • 数据过滤输入框中填写过滤条件,例如 gmt_modified>=${bizdate}
        aga
      3. 配置完成后单击 保存并执行 对应Maxcompute表展示转换后的数据。
    4. 设置同步方式和配置同步并发。
      cesho
      参数 描述
      同步方式设置 选择同步方式。 同步方式设置包括 每日全量 每日增量
      同步并发配置 选择同步并发配置。 同步并发配置包括 每日全量 分批上传
  8. 完成参数的配置后,单击生成管道,完成离线整库迁移管道的创建并提交。
    根据页面下方运行结果的提示,查看生成的管道。
  9. 可选:发布离线整库迁移。
    • 如果您的数据开发模式是Dev-Prod模式,则需要发布离线整库迁移,详情请参见发布管理
    • 如果您的数据开发模式是Basic模式,则不需要发布离线计算任务,提交后的离线整库迁移就可以参与调度。