文为您介绍如何创建本教程中的业务数据表。

背景信息

通常,您的业务数据需采用创建同步任务或管道任务的方式,导入至Dataphin平台,以构建智能数据。本教程为了让您快速熟悉智能数据构建并管理的流程,采用代码任务的方式构建业务数据。

本教程中的数据表包括开发环境的数据表(s_stores_customers_store_sales)和生产环境的数据表(dqe_demo.s_storedqe_demo.s_customerdqe_demo.s_store_sales)。

其中,s_storedqe_demo.s_stores_customerdqe_demo.s_customers_store_salesdqe_demo.s_store_sales的结构相同:
  • 店铺维度的数据表(s_storedqe_demo.s_store)。
    字段 类型
    s_store_sk bigint
    s_store_id string
    s_rec_start_date string
    s_rec_end_date string
  • 客户维度的数据表(s_customerdqe_demo.s_customer)。
    字段 类型
    c_customer_sk bigint
    c_customer_id string
    c_current_cdemo_sk bigint
    c_current_hdemo_sk bigint
  • 事实数据表(s_store_salesdqe_demo.s_store_sales)。
    字段 类型
    ss_sold_date_sk bigint
    ss_sold_time_sk bigint
    ss_customer_sk bigint
    ss_addr_sk bigint
    ss_store_sk bigint

步骤一:创建生产环境的数据表

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 进入离线计算任务页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标,在Dev页签下选择dqe_demo_dev项目。
      如果您当前访问的是dqe_demo_dev项目,则无需再次选择项目。
    3. 在数据开发页面,单击数据处理
      如果进入数据开发页面后,系统默认进入数据处理页签,则无需再次单击数据处理页签。
    4. 数据处理页签,单击即席查询
  4. 即席查询页签,单击fagag图标。
  5. 新建文件对话框,配置参数。
    参数 描述
    名称 输入表的名称为建表
    描述 输入生产环境数据表
    选择目录 默认为临时代码
  6. 单击确定
  7. 代码编写页面,编写建表及向表中写入数据的SQL语句。
    --创建数据表dqe_demo.s_store。
    CREATE TABLE IF NOT EXISTS dqe_demo.s_store
     (
      s_store_sk bigint ,
      s_store_id string ,
      s_rec_start_date string ,
      s_rec_end_date string
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10001,'c0001','20200618','20200619');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10002,'c0002','20200519','20200520');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10003,'c0003','20200520','20200521');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10004,'c0004','20200519','20200520');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10005,'c0005','20200517','20200518');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10005,'c0005','20200515','20200520');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10007,'c0007','20200515','20200519');
    insert into table dqe_demo.s_storee partition (ds ='${bizdate}') values(10008,'c0008','20200514','20200518');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10009,'c0009','20200515','20200517');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(100010,'c00010','20200513','20200516');
    insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(100011,'c00011','20200519','20200516');
    
    --创建数据表dqe_demo.s_store_sales。
    CREATE TABLE IF NOT EXISTS dqe_demo.s_store_sales
     (
      ss_sold_date_sk  bigint ,
      ss_sales_price bigint ,
      ss_customer_sk  bigint ,
      ss_list_price  bigint ,
      ss_store_sk  bigint
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,65,11121,65,10001);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,78,11121,70,10001);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11111,65,11161,62,10001);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,78,11161,72,20004);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,65,11161,58,20004);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,78,11161,75,10003);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,65,11121,55,10003);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,68,10003);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,70,20004);
    insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
    
    --创建数据表dqe_demo.s_customer。
    CREATE TABLE IF NOT EXISTS dqe_demo.s_customer
     (
      c_customer_sk  bigint ,
      c_customer_id string ,
      c_current_cdemo_sk  bigint ,
      c_current_hdemo_sk  bigint
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0001',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0002',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11111,'c0003',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0004',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0005',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0006',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0007',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0009',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
    insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
  8. 单击页面右上方的执行,执行编写的建表语句。
  9. 单击页面右上方的geaga图标,保存即席查询。

步骤二:创建开发环境数据表(s_store)

  1. 单击图标后,选择MAX_COMPUTE_SQL
  2. 新建文件对话框,配置参数。
    参数 描述
    名称 输入表的名称为s_store
    调度类型 选择手动节点
    描述 输入店铺维度
    选择目录 选择代码管理
  3. 单击确定
  4. 代码编写页面,编写建表及向表中写入数据的SQL语句。
    CREATE TABLE IF NOT EXISTS `s_store`
     (
      s_store_sk bigint ,
      s_store_id string ,
      s_rec_start_date string ,
      s_rec_end_date string
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table s_store partition (ds ='${bizdate}') values(10001,'c0001','20200618','20200619');
    insert into table s_store partition (ds ='${bizdate}') values(10002,'c0002','20200519','20200520');
    insert into table s_store partition (ds ='${bizdate}') values(10003,'c0003','20200520','20200521');
    insert into table s_store partition (ds ='${bizdate}') values(10004,'c0004','20200519','20200520');
    insert into table s_store partition (ds ='${bizdate}') values(10005,'c0005','20200517','20200518');
    insert into table s_store partition (ds ='${bizdate}') values(10005,'c0005','20200515','20200520');
    insert into table s_store partition (ds ='${bizdate}') values(10007,'c0007','20200515','20200519');
    insert into table s_store partition (ds ='${bizdate}') values(10008,'c0008','20200514','20200518');
    insert into table s_store partition (ds ='${bizdate}') values(10009,'c0009','20200515','20200517');
    insert into table s_store partition (ds ='${bizdate}') values(100010,'c00010','20200513','20200516');
    insert into table s_store partition (ds ='${bizdate}') values(100011,'c00011','20200519','20200516');
  5. 单击页面右上方的执行,执行编写的建表语句。
  6. 单击页面右上的fagag图标,完成数据表(s_store)的保存。
  7. 提交数据表(s_store)。
    1. 单击页面右上方的fagag图标。
    2. 提交备注对话框,输入备注信息。
    3. 单击确定并提交

步骤三:创建开发环境数据表(s_customer)

  1. 单击图标后,选择MAX_COMPUTE_SQL
  2. 新建文件对话框,配置参数。
    参数 描述
    名称 输入表的名称为s_customer
    调度类型 选择手动节点
    描述 输入顾客维度
    选择目录 选择代码管理
  3. 单击确定
  4. 代码编写页面,编写建表及向表中写入数据的SQL语句。
    CREATE TABLE IF NOT EXISTS `s_customer`
     (
      c_customer_sk  bigint ,
      c_customer_id string ,
      c_current_cdemo_sk  bigint ,
      c_current_hdemo_sk  bigint
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0001',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0002',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11111,'c0003',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0004',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0005',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0006',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0007',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0009',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
    insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
  5. 单击页面右上方的执行,执行编写的建表语句。
  6. 单击页面右上的fagag图标,完成数据表(s_customer)的保存。
  7. 提交数据表(s_customer)。
    1. 单击页面右上方的fagag图标。
    2. 提交备注对话框,输入备注信息。
    3. 单击确定并提交

步骤四:创建开发环境数据表(s_store_sales)

  1. 单击图标后,选择MAX_COMPUTE_SQL
  2. 新建文件对话框,配置参数。
    参数 描述
    名称 输入表的名称为s_store_sales
    调度类型 选择手动节点
    描述 输入销售数据
    选择目录 选择代码管理
  3. 单击确定
  4. 代码编写页面,编写建表及向表中写入数据的SQL语句。
    CREATE TABLE IF NOT EXISTS `s_store_sales`
     (
      ss_sold_date_sk  bigint ,
      ss_sales_price bigint ,
      ss_customer_sk  bigint ,
      ss_list_price  bigint ,
      ss_store_sk  bigint
    )
    PARTITIONED BY (
      `ds` STRING
    );
    insert into table s_store_sales partition (ds ='${bizdate}') values(11121,65,11121,65,10001);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11121,78,11121,70,10001);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11111,65,11161,62,10001);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11121,78,11161,72,20004);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11161,65,11161,58,20004);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11161,78,11161,75,10003);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11161,65,11121,55,10003);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,68,10003);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,70,20004);
    insert into table s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
  5. 单击页面右上方的执行,执行编写的建表语句。
  6. 单击页面右上的fagag图标,完成表的保存。
  7. 提交数据表(s_store_sales)。
    1. 单击页面右上方的fagag图标。
    2. 提交备注对话框,输入备注信息。
    3. 单击确定并提交