实时计算元表帮助您统一配置与管理实时计算任务开发过程中用到的输入表、输出表、维表。本文为您介绍如何新建实时计算元表。

操作步骤

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 进入实时计算元表页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 在数据开发页面,单击数据处理
    4. 数据处理页签,单击左侧导航栏vrdho图标。
  4. 实时计算元表页面,您可以通过以下任何一种方式,进入新建实时计算元表
    • 单击实时计算元表后的图标。
    • 单击项目名称后的图标,选择数据处理 > 实时计算元表
    • 开发首页,单击实时计算元表后的图标。
  5. 根据新建实时计算元表对话框提示,配置参数。
    • 数据源类型选择为Aliyun HBase、DRDS或Tablestore。tesgg
      参数 描述
      元表名称 实时计算元表的名称。元表名称仅支持由英文字符、数字或下划线(_)组合组成,且元表名称的首字母不支持为数字。
      数据源 实时元表基于的数据源。数据源类型选择Aliyun HBase、DRDS或Tablestore。
      来源表 数据源的来源表。
      选择目录 实时计算元表的目录。
      描述 实时计算元表的简单描述。
    • 数据源类型选择为DataHub、Kafka_9_11、Log Service或RocketMQ。test
      参数 描述
      元表名称 实时计算元表的名称。元表名称仅支持由英文字符、数字或下划线(_)组合组成,且元表名称的首字母不支持为数字。
      数据源 实时元表基于的数据源。数据源选择DataHub、Kafka_9_11、Log Service或RocketMQ类型。
      来源topic 数据源的来源topic。
      选择目录 实时计算元表的目录。
      描述 实时计算元表的简单描述。
  6. 完成参数配置后,单击确定
  7. 可选:添加字段。
    gaga
    • 执行以下操作,通过SQL导入的方式添加字段:
      1. 在实时元表页面,鼠标悬停至添加字段上,选择SQL导入
      2. SQL导入对话框中,编写SQL代码,代码示例如下。
        create table dwi_pub_hbd_cate_mtr ( 
            rowkey  VARCHAR  comment 'rowkey',
            stat_date  VARCHAR  comment 'stat_date',
            keymin  VARCHAR  comment 'keymin',
            PRIMARY KEY(rowkey)
          )
           with ( 
              type='alihbase',
              diamondGroup='null',
              zkQuorum='hbasemaster74000.sg94.tbsite.net,hbasemaster74001.sg94.tbsite.net,hbasemaster74002.sg94.tbsite.net,hbase74000.sg94.tbsite.net,hbase74001.sg94.tbsite.net',
              diamondKey='null',
              zkNodeParent='/group-sg94-lzd-mix',
              columnFamily='info',
              tableName='dwi_pub_hbd_cate_mtr_001',
              stringWriteMod='true'
          );
      3. 单击确定,完成字段的添加。
    • 执行以下操作,通过批量导入的方式添加字段:
      1. 在实时元表页面,鼠标悬停至添加字段上,选择批量导入
      2. 批量导入对话框中,编写代码,代码示例如下。
        ID,INT,描述,false,true,
        name,INT,描述,false,true
    • 执行以下操作,通过单行添加的方式添加字段:
      1. 在实时元表页面,鼠标悬停至添加字段上,选择单行添加
      2. 单行添加对话框,配置参数。
      3. 单击确定,完成字段的添加。
    同时,您可以对已添加的字段,执行如下操作。
    操作 描述
    编辑 执行如下操作,编辑字段:
    1. 在实时计算元表页面,单击操作列下的图标。
    2. 根据编辑页面的提示,修改参数。
    3. 完成参数修改后,单击完成
    删除 执行如下操作,删除字段:
    1. 在实时计算元表页面,单击操作列下的图标。
    2. 提示对话框中,单击确定并提交,完成字段的删除。
    排序 执行如下操作,重新排序字段:
    1. 在实时计算元表页面,单击排序
    2. 根据页面提示,单击完成,完成字段的排序。
    搜索 在搜索框中输入字段的名称或字段名称关键字进行搜索字段。
    刷新 单击图标,重新解析元表中的字段。
  8. 保存并提交实时计算元表。
    1. 在实时计算元表的开发页面,单击右上角的图标,保存实时计算元表。
    2. 在实时计算元表的开发页面,单击右上角的图标,提交实时计算元表。
  9. 可选:发布实时计算元表。
    • 如果您的开发模式是Dev-Prod模式,则需要发布实时计算元表,详情请参见发布任务
    • 如果您的开发模式是Basic模式,则无需发布实时计算元表(提交成功的实时计算元表即可参与调度)。