Dataphin研发平台支持数据的开发和萃取,同时为您提供进入发布管理、调度运维、权限管理模块的入口,致力于为您构建便捷、高效的数据研发平台。本文为您介绍数据研发平台中的数据开发。

背景信息

Dataphin研发平台是构建数仓的基石,同时也是Dataphin的核心功能模块。数据的开发是Dataphin研发平台重中之重的功能,数据开发支持通过界面配置和编写代码的方式构建同步任务、数据模型,以满足不同数据的使用场景,助力企业实现数据应用价值最大化。

Dataphin的数据开发模块,旨在为您提供简单高效、安全可靠的智能化构建数据的平台:
  • 规范建模:支持通过明确业务需求从业务顶层设计的方式,规范定义数据的标准及计算口径。同时根据业务需求完成数据模型的设计。
  • 数据处理: 支持通过编写代码的方式构建复杂的数据模型。
  • 即席查询:即席查询模块为您提供主题式数据查询功能,您可以根据业务需求自定义查询条件。MaxCompute计算引擎类型下支持MaxCompute SQL,系统会根据您所设置的计算引擎类型自动识别切换SQL类型。

进入开发页面

在Dataphin产品首页,单击顶部菜单栏的研发,或者通过中间的研发功能快速入口,均可进入数据的开发页面。

开发页面简介

开发页面包括开发、发布、运维、权限模块。

模块 说明
开发
  • 规范建模:构建指标模型。
  • 数据处理:构建同步任务、代码任务、函数和资源文件等。
  • 即席查询:任务发布前,进行数据查询、验证。
    说明 即席查询功能仅开发环境可见。
发布
  • 查看从开发环境提交的任务,并将其发布到生产环境进行数据生产。
  • 查询历史发布记录。
说明 仅Dev-Prod开发模式支持发布功能,且只有开发环境可见。
运维
  • 运维中心:对周期任务/实例、手动任务/实例、逻辑表任务/实例、补数据实例等进行查看运维。
  • 监控报警:设置和查看生产环境任务的监控报警信息。监控报警功能仅生产环境可见。
权限 为确保数据资源使用安全可控,对数据表的使用权限进行治理,即先申请,且需要精确到字段粒度,得到审批后方可使用。

使用说明

  • 研发首页
    进入研发页面后,首先可以看到整个研发过程的操作指引图。用户可以单击指引图中每个模块下方的图标,快速新建对应的任务文件。
  • 研发页面功能区
    功能区编号 说明
    1 环境类型标识按钮,单击可以在开发环境和生产环境之间进行切换。Prod表示生产环境,Dev表示开发环境。
    说明 若当前打开的是生产环境中的项目A,单击环境标识按钮切换到开发环境后,编号②的项目也切换为A的孪生项目A_dev。
    2 展示当前打开的项目名称,以及项目的环境类型(Prod或Dev)。单击右侧的下拉箭头可以切换到开发环境或生产环境中的其他项目。
    说明 如果当前打开的是开发环境中的项目,切换到生产环境中的项目后,编号①的环境类型标识也随之切换为生产环境,反之亦然。
    3 新建任务/文件按钮,单击可以快速新建规范定义、逻辑表、代码任务。
    4 刷新、新建文件按钮,单击可以刷新下方的任务列表、新建任务。
    5 搜索框,输入关键字可以搜索任务。
    6 展示已创建的任务/对象列表。
    7 几种不同的规范定义类型,单击选择后可以进行维度、业务过程、原子指标、业务限定、派生指标的查看、新建和下线等操作。
    8 三种逻辑表类型(事实逻辑表、维度逻辑表、汇总逻辑表),单击选择后可以查看、新建、删除、下线逻辑表等。
    说明 维度逻辑表不可手动创建,维度创建成功后,系统会自动创建对应的维度逻辑表。
    9 单击可以查看已创建的规范定义对象列表。
    10 研发功能包含的四大模块,单击不同的页签切换到对应的功能页面。
    11 全局搜索框,可以搜索物理表、逻辑表、规范定义、函数、资源等,支持选择过滤条件以快速搜索目标对象。
    12 我的文件按钮,单击会展示用户最近打开的文件列表,选择列表中的文件,会显示文件编辑页面。
    13 属性查看按钮,单击会展示用户最近打开的对象列表,选择列表中的对象,页面刷新显示该对象的属性信息及可操作项(如编辑、引用等)。
  • 研发页面按钮
    按钮编号 说明
    1 鼠标放置在对象/任务上,右侧会显示该按钮,单击可复制对象/任务的名称。
    2 鼠标放置在对象/任务上,右侧会显示该按钮,单击会展示更多操作项,包括编辑、下线、删除等。
    3 从左到右依次为抢锁(或锁定)、保存、提交、定位按钮。
    • 抢锁(或锁定):任务或对象默认被创建者锁定。在有权限的前提下,其他用户若要编辑任务或对象,需要先抢锁,才可以操作。
    • 保存:保存当前页面的任务/对象信息。
    • 提交:提交任务。任务提交后,可以在发布管理页面进行发布管理。
    • 定位:单击可以快速定位当前任务/对象在左侧功能区列表中的位置。
    4 单击可以快速切换或关闭已打开的页面。
    5 单击可以切换到操作指引图页面。aga