文档

数据开发概述

更新时间:

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、 Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。

前提条件

若需进行实时开发,需已购买实时研发增值服务。详情请参见开通Dataphin

功能介绍

规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。

说明

仅绑定数据板块的项目支持规范建模功能。

数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。

即席查询:即主题式查询,面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。

双开发模式:Dataphin支持BasicDev-Prod的数据开发模式:

  • Basic项目绑定了Basic数据板块,系统支持规范建模功能。Basic项目绑定了Prod数据板块,则系统不支持规范建模功能,仅支持数据处理即席查询功能。

  • Dev项目支持规范建模数据处理即席查询功能。Prod项目支持规范建模数据处理功能。

数据开发入口

  1. 在Dataphin首页,单击顶部菜单栏研发

  2. 在数据开发页面,左侧导航栏为您展示数据开发各功能模块的入口按钮。

    image

数据开发界面介绍

说明

如果您的Dataphin实例为基础研发版,则不支持规范建模

gagaga

功能区编号

描述

当前打开的项目名称,以及项目的环境类型(ProdDev)。您可以单击项目名称后的test图标,在下拉列表中,依次选择项目分类(ProdDevBasic)及项目名称,切换项目。同时,您也可以在搜索框中输入项目名称关键词,快速搜索项目,提高了搜索的效率。

环境类型标识按钮,单击tstt图标,切换DevProd项目。Prod项目表示生产环境的项目,Dev项目表示开发环境项目。

例如,当前您访问的是Dev项目(编号②的环境类型标识为ftata图标),单击tstt图标后,切换至Prod项目(编号②的环境类型标识为gegew图标)。

说明

Basic项目没有环境类型标识按钮。

快速新建规范建模、数据处理、回收站、即席查询任务的入口。同时为您记录最近打开的任务,便于您快速查询。

刷新任务列表、新建文件和新建文件夹的按钮。

在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发萃取资产页签,快速搜索目标对象。

同时,您也可以单击gageg图标,在代码搜索框中,输入代码的关键字快速搜索代码。

说明
  • 系统仅支持搜索已提交开发中已发布状态的代码

  • 系统仅支持搜索版本升级后(2020年7月14日)提交过的代码。

展示了规范建模的快速入口。

展示了统一运维的流程。

展示了数据处理支持的编码任务,并提供了创建任务的入口。

实时引擎适配功能说明

功能特性

Blink

Ververica Flink

适配离线引擎

MaxCompute

MaxCompute

自定义数据源

支持

待支持

元表

支持

支持

镜像表

支持

支持

任务调试

支持

支持

测试表

支持

支持

Flink SQL任务

支持

支持

Flink SQL任务粗粒度配置

支持

支持

Flink SQL任务细粒度配置

支持

支持

Flink SQL任务智能资源配置

支持

支持

SQL建议(实时模式)

支持

不支持

DataStream任务

支持

支持

DataStream任务粗粒度配置

支持

支持

DataStream任务细粒度配置

支持

支持

DataStream任务智能资源配置

支持

支持

实时代码模板

支持

待支持

资源

支持

支持

自定义函数

支持

支持

监控告警

支持

不支持,需在FlinkVVP平台配置

监控告警-业务延时过高

支持

不支持

监控告警-TPS超过范围

支持

不支持

监控告警-失败率超过配置

支持

不支持

监控告警-数据滞留超过配置

支持

不支持

监控告警-Checkpoint失败配置

支持

不支持

监控告警-反压持续时间超过配置

不支持

不支持

资产-元表血缘

支持

支持

资产-镜像表血缘

支持

支持

元表权限管理

支持

支持

镜像表权限管理

支持

支持

自定义实时函数权限管理

支持

支持

元表数据质量

支持

支持

跨租户发布

不支持

支持

Dataphin SQL语法解析器关键字

Dataphin中语法解析器的保留字和关键字与MaxCompute的保留字和关键词一致,详细内容请参见保留字与关键字

  • 本页导读 (0)
文档反馈