本文为您介绍如何添加、编辑、删除物理数据源以及转移Owner。

数据源分为物理数据源和计算引擎源,其中物理数据源:
  • 存储数据的物理数据库即物理数据源。物理数据源通常是数据建设的数据来源或基础,用于数据引入的数据同步环节。您也可以将已构建完成的数据导入物理数据源。
  • Dataphin支持配置网络类型为阿里云VPC类型的物理数据源。在VPC类型的物理数据源内,将Dataphin的IP地址加入至数据库的IP白名单中,然后将该数据库的连接地址加入至项目的沙箱白名单中,即可使用该物理数据源进行数据读写。
    说明 目前,Dataphin支持将Dataphin实例所在地域(华东2或华南1)的数据库配置为物理数据源。其他VPC的数据源,可以通过开通公网访问或者开通高速通道进行连接。

添加物理数据源

  1. 登录Dataphin。
  2. 在Dataphin首页,单击顶部菜单栏的规划,或者单击下方的智能数仓规划,进入数仓规划页面。
  3. 在左侧菜单栏选择物理数据源,单击页面右上方的添加数据源
  4. 新建数据源对话框中,填写数据源信息。
    说明 数据源类型为必选项,目前支持的数据源包括:MaxCompute、MySQL、SQL Server、PostgreSQL、Oracle、HDFS、Hive、DRDS、FTP、Vertica、AnalyticDB、ElasticSearch、MongoDB。
    • 如果选择的数据源类型为MaxCompute
      参数 说明
      数据源类型 选择数据源类型为MaxCompute。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      Endpoint 填写Endpoint。
      Project Name 填写Project Name。
      Access ID 填写鉴权Access ID。
      Access Key 填写鉴权Access Key。
    • 如果选择的数据源类型为MySQL
      参数 说明
      数据源类型 选择数据源类型为MySQL。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      JDBC URL 填写hive的JDBC的连接地址。
      用户名 填写数据库的登录用户名。
      密码 填写数据库的登录密码。
      类型 选择数据库类型,包括公网数据库阿里云数据库ECS(VPC)自建数据库
      • 类型选择公网数据库,公网数据库稳定性较低,适用于未独立部署且没有开通VPC服务的数据库访问。
      • 类型选择阿里云数据库时,需选择访问方式
        • 访问方式选择VPC网络时,需根据页面提示完成参数区域VPC IDRDS ID的配置,区域为当前Dataphin实例所在区域。适用于多租户中已开通VPC访问的数据库,稳定性比使用公网IP更高,但连接VPC网络前需提前制定授权IP白名单。
        • 访问方式选择公网IP时,您可直接进行测试连接。您使用的数据库为阿里云服务器上自建的数据库,需提前开放访问并授权权限。适用于多租户中未开通VPC访问权限的数据库,稳定性较VPC略低,连接公网前需先授权。
      • 类型选择ECS(VPC)自建数据源时,您使用的数据库需为VPC网络环境下的阿里云数据库,适用于独立部署中已开通VPC访问的数据库,稳定性比使用公网IP更高。但连接VPC网络前需提前制定授权IP白名单。
    • 如果选择的数据源类型为SQL ServerPostgreSQLOracle
      说明 请参见数据库类型为MySQL参数配置进行配置参数。
    • 如果选择的数据源类型为HDFS
      参数 说明
      数据源类型 选择数据源类型为HDFS。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      DefaultFS 填写的正确DefaultFS。填写的格式为hdfs://ServerIP:Port。
      Kerberos 可供选择开启关闭,如果您选择开启还需配置如下参数,
      • KDC Server:配置KDC统一服务地址,支持配置多个地址,使用,隔开。
      • Keytab File:基于KDC加密方式,生成的解密密钥文件。
      • Principal:基于KDC加密方式,认证的用户名。
    • 如果选择的数据源类型为FTP
      参数 说明
      数据源类型 选择数据源类型为FTP。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      Protocol 可选择FTPSFTP方式。
      • FTP是文件传输协议。
      • SFTP为传输文件提供一种安全的加密方法。
      Host 填写FTP主机host。
      Port 填写FTP主机端口号。
      用户名 填写数据库的登录用户名。
      密码 填写数据库的登录密码。
    • 如果选择的数据源类型为Hive
      参数 说明
      数据源类型 选择数据源类型为Hive。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      NameNode 配置格式为hostname:port或者ip:port,其中hostname、port、ip为数据库的hostname、port、ip。
      Kerberos 可供选择开启关闭,如果您选择开启还需配置KDC ServerKDC Server为配置KDC统一服务地址,支持配置多个地址,使用“,”隔开。
      JDBC URL 填写数据库的JDBC连接地址。
      用户名 数据库的登录用户名。
      密码 数据库的登录密码。
      数据库类型 选择元数据库类型,可供选择的有MySQLPostgreSQL
      JDBC URL 填写元数据的JDBC连接地址。
      用户名 填写元数据库的用户名。
      密码 填写元数据库的密码。
    • 如果选择的数据源类型为ElasticSearch
      参数 说明
      数据源类型 选择数据源类型为ElasticSearch。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      ES URL 填写数据库的ES URL连接地址。
      用户名 填写数据库的登录用户名。
      密码 数据库的登录密码。
    • 如果选择的数据源类型为MongoDB
      参数 说明
      数据源类型 选择数据源类型为MongoDB。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      数据源描述 填写对数据源简单的描述。
      JDBC URL 填写数据库的JDBC连接地址。
      用户名 填写数据库的登录用户名。
      密码 填写数据库的登录密码。
    • 如果选择的数据源类型为AnalyticDBDRDS
      说明 请参见数据库类型为MySQL参数配置进行配置参数。
    • 如果选择的数据源类型为Vertica
      参数 说明
      数据源类型 选择数据源类型为Vertica。
      数据源名称 填写数据源名称。数据源名称由汉字、数字、字母、下划线或-组合组成。
      JDBC URL 填写数据库的JDBC连接地址。
      Schema 填写数据库的Schema信息。
      用户名 填写数据库的登录用户名。
      密码 填写数据库的登录密码。
  5. 数据源信息填写完成后,单击测试连接。返回测试成功后,单击确定
说明 如果您有其他类型的数据源诉求,请提工单并在工单上填写您需要的数据源版本及配置信息。

其他操作

  • 当前租户的所有用户可以对已添加的物理数据源进行连接测试,以确保物理数据源的连接信息正确、通过校验,避免对应的项目在提交数据同步任务时产生连接错误。
  • 超级管理员和物理数据源的创建者还可以对已添加的物理数据源进行如下操作:
    • 修改连接信息。
    • 删除物理数据源。
    • 转移Owner。