为了保障数据生产便捷性及敏捷管理数据研发流程,Dataphin支持创建独立灵活、开发与运维一体的项目空间(Basic项目)。本文为您介绍如何创建Basic项目空间。

前提条件

  • 如果您需要研发流批一体任务,则在创建项目空间前需要完成Flink计算源的创建,请参见新建Flink计算源
  • 如果您选择的Dataphin的计算引擎为AnalyticDB for PostgreSQL,且数据研发过程中需要使用数据集成、即席查询、AnalyticDB for PostgreSQL的SQL计算任务等功能,则在创建项目空间前需要完成AnalyticDB for PostgreSQL计算源的创建,请参见新建AnalyticDB For PostgreSQL计算源
  • 如果您选择的Dataphin的计算引擎为MaxCompute,且数据研发过程中需要使用规范建模、即席查询、MaxCompute计算任务等功能,则在创建项目空间前需要完成MaxCompute计算源的创建,请参见新建MaxCompute计算源
  • Dataphin支持添加Hologres加速计算源至已绑定MaxCompute计算源的项目,加速数据服务的查询速度。如果您需要加速业务数据的查询速度,则在创建项目空间前需要创建加速计算源, 详情请参见新建加速计算源

背景信息

Dataphin支持两种开发模式的项目空间。
项目空间的模式 描述
Dev-Prod模式
完成项目空间的创建后,系统默认生成了开发环境(Dev项目)和生产环境(Prod项目)。Prod项目保障了生产环境项目中的数据安全。如果您管理诉求较强,数据研发人员较多且能力及分工明确,数据计算存储预算较高,推荐此模式。 Prod项目和Dev项目的更多信息,请参见创建Prod和Dev项目空间fagag
Basic模式 完成项目空间的创建后,系统默认生成了Basic项目(开发和生产一体的项目)。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发效率,研发人员职能边界模糊,计算存储预算有限制,推荐此模式。vaga
注意
  • Basic模式不支持升级为Dev-Prod模式,且Basic模式存在直接变更生产风险,请您谨慎选择。
  • 如果选择了Basic模式,请您谨慎管理项目成员,以控制数据生产的稳定性。

使用限制

  • 创建项目空间的权限限制说明:
    • 系统支持超级管理员角色和板块管理员角色的账号创建项目空间。
    • 系统仅支持项目管理员和板块管理员角色的账号,关闭和开启数据表读写的权限申请。
    更多信息权限信息,请参见数仓规划权限列表
  • 创建项目空间的限制说明:
    • 一个计算源仅支持被一个项目绑定。
    • 项目绑定计算源后,不支持修改计算源。
    • 项目至少需要绑定一个计算源,为项目提供计算和存储空间。

操作流程

操作流程 描述
步骤一:选择项目空间类型 选择项目空间的模式为Basic模式。

完成项目空间的创建后,系统生成独立灵活的生产环境,数据生产过程相对稳定而便捷,生产的数据可管控。

步骤二:配置项目空间的计算源和名称 为项目空间配置计算源、英文名、名称和描述。

您也可以通过信息设置添加多个计算源,请参见添加计算源

步骤三:配置项目空间的命名空间 配置项目空间的业务板块和空间类型。
步骤四:配置项目空间的沙箱白名单 配置项目空间中的Shell、Python任务可以访问的IP地址或域名。

您也可以通过信息设置添加沙箱白名单,请参见添加沙箱白名单

步骤五:配置项目空间的数据读写申请权限 Dataphin支持通过项目粒度的方式,管控项目空间中的元表和物理表的读取和写入数据的权限申请,以规避审批者误操作,导致的数据泄露与安全问题:
  • 关闭数据写权限申请后,当前项目下的物理表及元表不支持申请写入权限,同时系统不收回已申请过的写入权限。
  • 开启数据写权限申请后,当前项目下的物理表及元表支持申请写入权限。申请写入权限的更多信息,请参见申请权限

您也可以通过信息设置配置项目空间的数据读写申请权限,请参见设置数据读写申请权限

步骤一:选择项目空间类型

  1. 请参见入口介绍,进入数仓规划页面。
  2. 数仓规划页面,单击左侧导航栏的项目管理。
  3. 项目管理页面,单击页面右上方的新建项目
  4. 新建项目对话框,选择创建项目空间的模式为Basic模式
  5. 单击下一步

步骤二:配置项目空间的计算源和名称

新建项目页面的基本设置区域,配置参数。fgsaga
参数 描述
计算源
计算源为项目提供计算和存储资源。添加Dev项目的计算源:
  1. 选中需要添加的计算源类型

    计算源类型根据您初始化系统选择的计算引擎而不同。系统支持的计算类型包括MaxCompute、Flink、Hologres、AnalyticDB for PostgreSQL。

  2. 添加与计算类型匹配的计算源。
注意 已绑定项目的计算源,无法被其他项目再次绑定。

系统支持为项目绑定MaxCompute、AnalyticDB For PostgreSQL计算源时,同步创建数据源。如果选中同步创建数据源,系统自动为您创建数据同步或数据集成的目标数据源。创建数据源的机制,请参见同步创建数据源的机制

英文名 英文名由字母、数字、下划线(_)组合组成。
注意 英文名不支持以LD_开头(业务板块英文名默认以LD_作为前缀),以免引用逻辑表和物理表时出现冲突。
名称 名称由中文、数字、字母、下划线(_)或短划线(-)组合组成。
注意 名称不支持以LD_开头(业务板块英文名默认以LD_作为前缀),以免引用逻辑表和物理表时出现冲突。
描述 填写对Basic项目简单描述。

步骤三:配置项目空间的命名空间

新建项目页面的命名空间区域,配置参数。dcf
参数 描述
业务板块 非必填写项。为新建项目选择所属的业务板块。
注意 如果您购买的Dataphin实例为基础研发版,则系统不支持业务板块。
空间类型 区分项目开发任务及产出数据特征,默认为应用层。空间类型包括3种:
  • 基础层:来自各个业务数据库的原始数据存储,是后续所有数据建设的来源与基础,也称为垂直数据中心。
  • 公共层:基于各业务数据,抽象公共的主题,沉淀标准、规范、可共用的数据,是连接基础层与应用层的中间桥梁,也称为公共数据中心。
  • 应用层:面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标等。
功能操作 默认为代码编辑、调度,不支持修改。

步骤四:配置项目空间的沙箱白名单

  1. 其他设置沙箱白名单区域,添加该项目空间下输入Shell、Python任务需要访问的IP地址或域名。
    gaga
    1. 单击新建
    2. 根据页面提示,输入Shell、Python任务需要访问的IP地址或域名。
      注意 必须填写可以被访问到的IP地址或域名。
    3. 单击gagaga图标。
  2. 单击确定,Shell、Python任务可以访问对应的IP地址或域名。
    对于已添加的沙箱白名单,您也可以单击操作列下的gagag图标,删除后项目空间下的Shell、Python任务,将无法访问对应的IP地址或域名。

步骤五:配置项目空间的数据读写申请权限

  1. 其他设置对话框的通用功能控制区域,选择是否需要开启数据读写权限申请权限。
    dagfa
    开启或关闭数据写权限申请:
    • 关闭数据写权限申请后,当前项目下的物理表及元表不支持申请写入权限,同时系统不收回已申请过的写入权限。
    • 开启数据写权限申请后,当前项目下的物理表及元表支持申请写入权限。申请写入权限的更多信息,请参见申请权限
    开启或关闭数据读权限申请:
    • 关闭数据读权限申请后,当前项目下物理表及元表不支持申请查询权限,同时系统不收回已申请过的查询权限。
    • 开启数据读权限申请后,当前项目下的物理表及元表支持申请查询权限。申请查询权限的更多信息,请参见申请权限
  2. 单击确定,完成Basic项目的创建。
    创建完Basic项目空间后,即可进入工作区开始数据的研发。如何基于Dataphin开发数据,请参见数据开发gagaga

同步创建数据源的机制

  • 绑定的计算源类型为MaxCompute,同步创建数据源时,系统自动配置的参数信息如下。
    参数 描述
    数据源类型 系统默认配置为MaxCompute。
    数据源名称 系统默认配置为计算源名称。
    数据源描述 系统默认配置为项目的描述。
    数据源配置 系统默认选择为生产数据源
    Endpoint 系统默认填写项目绑定的计算源的连接信息。
    Project Name
    Access ID
    Access Key
  • 绑定的线计算源类型为AnalyticDB For PostgreSQL,同步创建数据源时,系统自动配置的参数信息如下。
    参数 描述
    数据源类型 系统默认配置为AnalyticDB for PostgreSQL。
    数据源名称 系统默认配置为计算源名称。
    数据源描述 系统默认配置为项目的描述。
    数据源配置 系统默认选择为生产数据源
    JDBC URL 系统默认填写项目绑定的计算源的连接信息。
    Schema
    用户名
    密码
同步创建数据源过程中,系统校验规则如下:
  • 数据源重名校验:如果已存在同名数据源,则数据源创建失败,项目创建不阻断。
  • 数据源测试连接:如果测试连接失败,则数据源创建失败,项目创建不阻断。