本文主要介绍使用数据传输服务(DTS)将MySQL 或者 DRDS 数据迁移同步到云数据库 ClickHouse。

操作步骤

说明 目前只支持全量同步,暂不支持增量同步。
  1. 创建同步作业。
    进入DTS控制台,进入数据同步导航,然后创建同步作业:
  2. 购买同步实例。
    购买完成之后进入同步配置页面,对刚购买完成的同步实例进行配置。
    说明 目前只支持从MySQL和DRDS两种源导入数据到ClickHouse。
  3. 配置同步作业。
    1. 在选择同步同步对象的页面,选择需要同步的表结构。
      • 同步初始化选项:用户可以选择结构初始化和全量初始化。默认选择结构初始化和全量初始化。如果用户没有选择结构初始化,且目标端没有存在对应的库表,则在预检查时报错。
      • 多表归并:主要是用于实现多张表结构相同的表同步到1张大表中,做数据的汇总。在该模式下,源端的ddl都需要进行过滤,只支持dml同步。
        注意 1个ClickHouse的实例数据库数量的上线是256个,如果同步的对象超过256个数据库则无法同步。
    2. 配置表结构定义。
  4. 预检查。
    配置好表结构之后,可以保存,随后进行启动任务,启动第一步会进行预检查。预检查主要是源和目的数据库的连通性、账号权限、命名是否规范等。
  5. 启动同步任务。

    预检查成功之后,会开始数据的全量同步(暂时不支持增量同步)。

  6. ClickHouse同步表。

    由于ClickHouse是分布式的数据库,所以MySQL表迁移到ClickHouse后会有一些变化,比如MySQL中的一张表dts2clickhouse,同步到ClickHouse会产生两张表,一张是加local_前缀的名字为local_dts2clickhouse的本地表,一张是和dts2clickhouse同名的Distributed表,用来进行写入、查询和查看建表语句。