全部产品

增量数据同步

更新时间:2020-06-18 10:28:07

前提条件

  1. 购买BDS数据迁移同步服务,配置BDS操作页面账户密码,并登录BDS操作页面
  2. 打通BDS和HBase迁移集群的网络
  3. 添加HBase集群数据源

版本

  1. 自建HBase1.x、2.x
  2. EMR HBase
  3. 标准版云HBase、增强版云HBase (仅支持集群版本)

任务创建

  1. 进入BDS操作页面,点击任务管理->HBase实时数据同步->创建HBase实时同步1
  2. 指定源集群HBase和目标集群HBase,指定需要同步的表1
  3. 查看同步状态1

更新表

  1. 进入BDS操作页面,点击任务管理->HBase实时数据同步2
  2. 修改表列表1

同步Phoenix表

Phoenix表的meta信息是记录在SYSTEM.CATALOG这种表中的,对于Phoenix的表不仅需要迁移底层依赖的HBase表,还要迁移SYSTEM.CATALOG表中对应的元数据, 如果提交实时同步任务的时候勾选了在目标集群创建目标表,需要添加如下SchemaType 的参数

  1. PHOENIX_TABLE1 {"SchemaType": "phoenix"} // BDS会自动获取SYSTEM.CATALOG中的元数据信息拷贝到目标集群的SYSTEM.CATALOG
  2. PHOENIX_TABLE2 {"SchemaType": "phoenix"}