一键实时同步至DataHub

操作流程

1. 步骤一：选择同步方案

2. 步骤二：配置网络连通

3. 步骤三：设置同步来源与规则

4. 步骤四：设置目标Topic

5. 步骤五：运行资源设置

6. 步骤六：执行同步任务

步骤一：选择同步方案

创建同步解决方案任务，根据需求选择需要同步的源端数据源和目标端数据源，并选择一键实时同步至DataHub方案。

步骤二：配置网络连通

源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。

步骤三：设置同步来源与规则

1. 在基本配置区域，配置同步解决方案的名称、任务存放位置等信息。

2. 在数据来源区域，确认需要同步的源端数据源相关信息。

3. 在选择同步的源表区域，选中需要同步的源表，单击图标，将其移动至已选源表。

   该区域会为您展示所选数据源下所有的表，您可以选择整库全表或部分表进行同步。

4. 在设置表名到Topic的映射规则区域，单击添加规则，选择相应的规则进行添加。

   同步时默认将源端数据表写入DataHub同名Topic中，同时，您可以通过添加映射规则定义最终写入目的端的Topic名称，实现将多张表数据写入到同一个Topic中，或统一将源端某固定前缀的表名在写入目标Topic时更新为其他前缀。支持通过正则表达式转换写入的Topic名，还支持使用内置变量拼接目标Topic名。配置逻辑请参见：设置同步来源与规则。

步骤四：设置目标Topic

1. 设置写入模式。

   目前仅支持将源端增量数据实时写入DataHub TUPLE类型的Topic中。

2. 配置是否支持源表无主键同步。

   您可在此定义当源端为无主键表时，是否允许同步至DataHub。

3. 刷新源表与目标Topic映射。

   单击刷新源表和DataHub Topic映射将根据您在步骤三配置的表名到Topic的映射规则来生成目标Topic，若步骤三未配置映射规则，将默认写入与源表同名的目标Topic，若目标端不存在该同名Topic，将默认新建。同时，您可以修改Topic建立方式、为目标Topic在源字段基础上增加附加字段。

   说明

   目标表名将根据您在设置表名到Topic的映射规则阶段配置的表名转换规则自动转换。

   功能	描述
   为非主键表选择主键	若您在上一步骤中未勾选支持源表无主键同步，但源端部分无主键表需要同步，您可以单击同步主键列的按钮，为无主键表设置自选主键。
   选择Topic建立方式	支持自动建Topic和使用已有Topic： 当Topic建立方式选择使用已有Topic时，您可以在DataHub Topic列对应的下拉列表中选择需要使用的Topic名称。 当Topic建立方式选择自动建Topic时，DataHub Topic列显示自动创建的DataHub Topic名称。
   编辑附加字段	单击操作列的编辑附加字段，可以为目标Topic在源端字段的基础上增加字段并为字段赋值。支持手动赋值常量与变量。 说明 仅在Topic建立方式为自动建Topic时，可以使用此功能。
   编辑目标Topic结构	目前自动建表生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改DataHub Topic生命周期或修改目标表字段类型映射，您可单击DataHub Topic列的目标Topic名进行修改。 说明 仅在表建立方式为自动建Topic时，可以使用此功能。

步骤五：运行资源设置

当前方案创建后将分别生成全量数据离线同步子任务和增量数据实时同步子任务。您需要在运行资源设置界面配置离线同步任务和实时同步任务的相关属性。

包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击高级配置可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。

步骤六：执行同步任务

1. 进入数据集成 > 同步任务界面，找到已创建的同步方案。

2. 单击操作列的启动/提交执行按钮，启动同步的运行。

3. 单击操作列的执行详情，查看任务的详细执行过程。