本文主要介绍RDS全增量同步的操作过程。
RDS全增量同步
使用场景:
RDS低成本历史库。
RDS数据全量迁移至HBase。
功能列表:
RDS数据全增量一体同步到HBase。
RDS数据变换,详见配置说明。
RDS多表同步。
自定义数据过滤和处理 (即将发布)。
DDL变更自动感知 (即将发布)。
脏数据处理(即将发布)。
3.使用限制:
支持源数据源RDS,DTS。
支持数据源HBase。
Phoenix暂不支持,请使用老版本。
准备工作
任务创建
导入Lindorm/HBase > RDS全增量同步 > 创建任务
选择RDS数据源、DTS数据源以及目标数据源。
选择要同步的表,单击生成配置。
单击创建完成任务创建。
注意事项
RDS全增量同步先进行全量历史数据迁移,迁移完成后在进行增量数据迁移。
导入HBase默认生成列簇,RDS中的字段会和f下列一一对应,同时rowkey为RDS主键字符串拼接。
默认生成配置会跳过RDS删除操作如果保留需要手动修改配置,详见配置说明。
添加数据源
配置说明
单击编辑可以查看默认配置,同时可以修改。
HBase API访问同步配置说明
{
"reader": {
"querySql": [
"select * from dts.cluster where id < 1000",//全量同步查询语句,一个语句对应一个读取线程
"select * from dts.cluster where id >= 1000"//建议进行拆分提高速度和减小重试代价
]
},
"writer": {
"columns": [
{
"name": "f:id",//目标表中字段名称
"value": "id", //原表中字段名称
"isPk": false //不影响同步忽略
},
{
"name": "f:cluster_id",
"value": "cluster_id",
"isPk": false
},
{
"name": "f:id_and_cluster",
"value": "{{concat(id, cluster_id)}}",//支持Jtwig域名对数据进行变换
}
],
"rowkey": {
"value": "id" //hbase模型中rowkey由RDS哪些字段组成,支持Jtwig语法
},
"config": {
"skipDelete": true//跳过删除操作
},
"table": {
"name": "dts:cluster",// Lindorm/HBase中表名
"parameter": {
"compression": "ZSTD",//Lindorm/HBase中,新建表压缩算法,推荐使用ZSTD
"split":["1", "5", "9", "b"] //指定splitkey,对新建表进行预分区
}
},
"sourceTable": "dts.cluster"
}
}
在文档使用中是否遇到以下问题
更多建议
匿名提交