文档

MaxCompute数据迁移至OTS

更新时间:

本文为您介绍如何将MaxCompute数据迁移至表格存储OTS(Table Store)。

前提条件

操作步骤

  1. 在DataWorks上创建表。

    1. 登录DataWorks控制台

    2. 在左侧导航栏,单击工作空间列表

    3. 单击相应工作空间操作列的快速进入 > 数据开发

    4. 右键单击已创建的业务流程,选择新建表 > MaxCompute >

    5. 新建表页面,选择引擎类型并输入表名

    6. 在表的编辑页面,单击DDL

    7. DDL对话框,输入如下建表语句,单击生成表结构

      create table Transs
      (name    string,
      id    bigint,
      gender    string);
    8. 单击提交到生产环境

  2. 为表Transs导入数据。

    1. 数据开发页面,单击导入图标。

    2. 数据导入向导对话框,至少输入3个字母来搜索需要导入数据的表,单击下一步

    3. 选择数据导入方式上传本地数据,单击选择文件后的浏览...。选择本地数据文件,配置导入信息。

      示例数据如下。

      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M
    4. 单击下一步

    5. 选择目标表字段与源字段的匹配方式。

    6. 单击导入数据

  3. 在表格存储控制台上创建表。

    1. 登录表格存储控制台,创建实例。详情请参见创建实例

    2. 创建数据表Trans。详情请参见创建数据表

  4. 在DataWorks中新增数据源。

    1. 登录DataWorks控制台

    2. 在左侧导航栏,单击工作空间列表

    3. 单击相应工作空间操作列的快速进入 > 数据集成

    4. 在左侧导航栏上,单击数据源,进入数据源管理页面。

    5. 单击新增数据源,并选择数据类型为MaxCompute

    6. 新增MaxCompute数据源对话框中配置参数,并单击完成。详情请参见配置MaxCompute数据源

    7. 新增OTS数据源,详情请参见配置OTS数据源

  5. 配置MaxCompute(ODPS)Reader和表格存储(OTS)Writer。

    1. 进入数据开发页面,右键单击指定业务流程,选择新建节点 > 数据集成 > 离线同步

    2. 新建节点对话框中,输入节点名称,并单击确认

    3. 在顶部菜单栏上,单击转化脚本图标。

    4. 在脚本模式下,单击顶部菜单栏上的**图标。

    5. 导入模板对话框中选择来源类型数据源目标类型数据源,并单击确定

    6. 修改JSON代码后,单击运行图标。

      代码如下。

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": [],
                      "datasource": "odps_first",
                      "column": [
                          "name",
                          "id",
                          "gender"
                      ],
                      "table": "Transs"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "ots",
                  "parameter": {
                      "datasource": "Transs",
                      "column": [
                          {
                              "name": "Gender",
                              "type": "STRING"
                          }
                      ],
                      "writeMode": "UpdateRow",
                      "table": "Trans",
                      "primaryKey": [
                          {
                              "name": "Name",
                              "type": "STRING"
                          },
                          {
                              "name": "ID",
                              "type": "INT"
                          }
                      ]
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 1,
                  "dmu": 1
              }
          }
      }
  6. 在表格存储控制台中查看新增的表数据。

    1. 登录表格存储控制台

    2. 在左侧导航栏上,单击全部实例

    3. 单击实例名称进入实例管理页面。在数据表列表区域,单击要查看的数据表名称。

    4. 单击顶部数据管理页签,查看新增的表数据。

  • 本页导读 (1)
文档反馈