本文为您介绍本教程的背景信息、准备工作和操作流程。

背景信息

本教程带您体验Dataphin的规范建模和质量管理功能。Dataphin支持规范化、标准化的设计数据模型、拖拽式的定义数据模型,数据模型的代码系统自动生成。您只需要关注模型的设计和定义,无需关注代码的研发,大大提升了数据的研发效率。

本教程基于零售店铺销售场景,为您介绍如何构建销售模型,以获取目录销售额和实例销售额,同时对店铺ID的唯一性进行了管理,助您真正能够依赖数据进行经营决策。

准备工作

  • 新建MaxCompute项目(dqe_demo_prod_odps),配置如下参数,其余参数保持默认,详情请参见创建工作空间
    参数 描述
    工作空间名称 填写dqe_demo_prod_odps
    选择计算引擎服务 选择MaxCompute
    实例显示名称 填写test
  • 新建MaxCompute项目(dqe_demo_dev_odps),配置如下参数,其余参数保持默认,详情请参见创建工作空间
    参数 描述
    工作空间名称 填写dqe_demo_dev_odps
    选择计算引擎服务 选择MaxCompute
    实例显示名称 填写Mytest

操作流程

主流程 说明 操作指导
数仓规划 规划店铺销售模型的数仓,包括创建业务板块、计算源、数据源、项目及项目中的成员。 步骤一:规划数仓
创建数据表 通常,您的业务数据需采用创建同步任务或管道任务的方式,导入至Dataphin平台,以构建智能数据。本教程为了让您快速熟悉智能数据构建并管理的流程,采用代码任务的方式构建业务数据。 步骤二:创建数据表
规范定义 定义本教程中的维度、业务过程、原子指标、时间周期和派生指标。 步骤三:规范定义
规范建模 基于规范定义,构建数据模型。 步骤四:规范建模
发布任务 发布维度、维度逻辑表、事实逻辑表表、汇总逻辑表、原子指标和派生指标至生产环境。 步骤五:发布任务
补数据 通常,您构建的数据模型会参与生产环境的调度。本教程为了让您快速熟悉智能数据构建与管理的流程,采用补数据的方式,构建数据模型运行生成的数据。 步骤六:补数据
验证数据 验证数据模型运行后生成的数据是否符合您的预期。 步骤七:验证数据
创建质量规则 为数据表创建质量规则。系统会自动校验数据表质量并生成质量报告。 步骤八:创建质量规则
查看质量报告 质量报告是对数据表参与生产环境运维调度的结果进行周期性质量校验的结果。 步骤九:查看质量报告