同步时源库为PolarDB-X 2.0的注意事项及限制

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见查询任务日志。

• 若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。

• 在数据同步完成后，建议使用analyze table <表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA切换机制后，可能会导致数据只写到了内存，从而造成数据丢失。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见查询任务日志。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 目标PolarDB分布式版需兼容MySQL 5.7版本。

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 暂不支持同步前缀索引，如果源库存在前缀索引可能导致数据同步失败。

• 由于云原生数据仓库AnalyticDB MySQL版 3.0本身的使用限制，当云原生数据仓库AnalyticDB MySQL版 3.0中的节点磁盘空间使用量超过80%，会导致DTS任务异常，产生延迟。请提前根据待同步的对象预估所需空间，确保目标集群具备充足的存储空间。

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见查询任务日志。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 同步对象仅支持数据表，不支持非数据表的对象。

• 不支持自动调整同步对象，如果对同步对象中的数据表进行重命名操作，且重命名后的名称不在同步对象中，那么这部分数据将不再同步到目标Kafka集群中。如需将修改后的数据表继续数据同步至目标Kafka集群中，您需要进行修改同步对象操作，详情请参见新增同步对象。

• 在同步期间，若目标Kafka发生了扩容或缩容，您需要重启实例。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为库表结构同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在库表结构同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 仅支持表级别的数据同步。

• 目标DataHub中单个String字段的长度最大支持2 MB。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 不支持全量数据同步，即DTS不会将源PolarDB分布式版中同步对象的存量数据同步至目标DataHub实例中。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 不支持同步DDL操作，如果源库中待同步的表在同步的过程中，已经执行了DDL操作，您需要先移除同步对象，然后在Elasticsearch实例中移除该表对应的索引，最后新增同步对象。请参见移除同步对象和新增同步对象。

• 如果源库中待同步的表需要执行增加列的操作，您只需先在Elasticsearch实例中修改对应表的mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动同步任务。

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。

类型

说明

源库限制

• 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• Binlog日志：

  • 在PolarDB-X 2.0控制台参数设置界面开启binlog，开启方法请参见参数设置。并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据同步任务。

  • 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 若源端PolarDB-X 2.0待同步的表名中含大写字母，则仅支持库表结构同步。

• PolarDB分布式版需兼容MySQL 5.7版本。

其他限制

• 仅支持表级别的数据同步。

• 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

• 全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。

• 请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 若在DTS同步数据期间，有除DTS同步任务外的数据写入目标库，则会导致源库与目标库数据不一致。例如，使用DMS执行在线DDL变更，可能引起目标库数据丢失。

• 由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。

其他注意事项

DTS会在源库定时更新`dts_health_check`.`ha_health_check`表以推进binlog位点。