本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。

背景信息

ETL支持的转换组件如下:
  • 表JOIN
  • 字段计算器
  • 表记录过滤

使用限制

ETL支持的转换组件存在如下限制:
  • 表JOIN:仅支持两个表之间做JOIN操作。
  • 字段计算器表记录过滤:仅支持单个表结构。

前提条件

已完成数据源信息的配置。

配置表JOIN

  1. 登录数据传输控制台
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)和华北2(北京)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择表JOIN,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表JOIN
  8. 在页面右侧区域,单击表JOIN
  9. 转换 表JOIN页面,根据页面信息配置转换组件。
    1. 单击节点配置页签,设置以下参数,配置节点信息。
      转换 表JOIN_节点配置
      区域 参数 说明
      转换名称 请输入转换名称 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      Join配置 Join类型符左边的表 选择放置在Join类型符左边的表。
      时态Join时间属性 选择Join的时间属性,默认为Join。
      • 基于事件时间Watermark
      • 基于处理时间ProcTime
      说明 时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。
      选择Join操作 选择Join操作方式。
      • Inner Join:数据为两张表的交集。
      • Left Join:左表中的数据不变,右表中的数据为两张表的交集。
      • Right Join:左表中的数据为两张表的交集,右表中的数据不变。
      Join条件 +新增条件 单击+新增条件,从多个数据源中选择Join的条件字段。
      说明 等号(=)左侧为数据源左表字段,右侧为数据源右表字段。
    2. 完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。
      转换 表JOIN_输出字段

配置字段计算器

  1. 登录数据传输控制台
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)和华北2(北京)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择字段计算器,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器
  8. 在页面右侧区域,单击字段计算器
  9. 转换 字段计算器页面,设置以下参数,配置转换组件。
    转换 字段计算器
    1. 转换名称区域,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. 计算器配置区域,单击+新增字段
    3. 在计算器配置列表中,单击新增字段所在行操作列的计算配置
    4. 取值配置区域,设置以下参数。
      参数 说明
      字段名 DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      选择ETL数据类型 选择需要的ETL数据类型。
      目标字段:字段名,取值配置 选择以下任意一种方式为目标字段配置计算方法。
      • 直接输入需要的计算方法。
      • 单击字段输入函数集操作符区域中的选项配置计算方法。

配置表记录过滤

  1. 登录数据传输控制台
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)和华北2(北京)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择表记录过滤,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤
  8. 在页面右侧区域,单击表记录过滤
  9. 转换 表记录过滤页面,根据页面信息配置转换组件。
    转换 表记录过滤
    1. 转换名称区域,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. Where条件区域,您可以选择以下任意一种方法配置Where条件。
      • 直接输入需要的Where条件。
      • 单击字段输入操作符区域中的选项配置Where条件。

执行结果

完成配置的转换组件右侧显示 配置成功,说明配置完成。

后续步骤

配置目标库信息