本文为您介绍如何添加、编辑、删除物理数据源,转移Owner等。

背景信息

数据源分为物理数据源和计算引擎源。
  • 存储数据的物理数据库即物理数据源。物理数据源作为数据建设的源或基础,用于数据引入的数据同步环节。
  • 物理数据源为外部数据源,主要作为来源业务系统或者计算完成后服务的业务系统的存储介质。
  • 支持配置阿里云VPC类型的物理数据源。在VPC类型的物理数据源内,将Dataphin的IP地址加入至IP白名单中,即可使用该物理数据源进行数据读写。目前仅支持配置华东2地域(Region)的VPC物理数据源。
  • 计算引擎源用于计算、存储数据模型,每个项目必须绑定一个计算引擎源。计算引擎源的数据源类型需要与计算引擎类型相同。

添加物理数据源

  1. 登录Dataphin。
  2. 在Dataphin首页,单击顶部菜单栏的规划,或者单击下方的智能数仓规划,进入数仓规划页面。

  3. 在左侧菜单栏选择物理数据源,单击页面右上方的添加数据源

  4. 新建数据源对话框中,填写数据源信息。
    说明 数据源类型为必选项,目前支持的数据源包括:MaxCompute、MySQL、SQL Server、PostgreSQL、Oracle、HDFS、Hive、DRDS、FTP、Vertica、AnalyticDB、ElasticSearch、HBase 0.94.x、HBase 1.1.x、MongoDB。
    • 如果选择的数据源类型为MaxCompute,则需要填写Endpoint、 Project Name、Access ID、 Access Key等。

    • 如果选择的数据源类型为MySQL、DRDS或PostgreSQL,则需要填写JDBC URL、用户名和密码。

    • 如果选择的数据源类型为SQL Server或Oracle,则需要填写JDBC URL、 Schema、用户名和密码。

    • 如果选择的数据源类型为Vertica,则需要填写JDBC URL、Schema、用户名和密码。

    • 如果选择的数据源类型为HDFS,则需要配置的信息包括:
      • DefaultFS地址。
      • 是否开启Kerberos验证。如果开启Kerberos验证,还需要配置KDC Server、Keytab文件、Principal等。


    • 如果选择的数据源类型为FTP,则需要配置的信息包括:协议(Protocol)、主机地址(Host)、端口号(Port)、用户名和密码。

    • 如果选择的数据源类型为Hive,则需要配置的信息包括:
      • 集群配置:NameNode。是否开启Kerberos,如果开启,则需要配置对应的KDC地址。
      • HDFS配置:HDFS Keytab文件、HDFS Principal。
      • Hive配置:Hive2连接的JDBC URL、用户名和密码。
      • 元数据库配置:数据库类型、JDBC URL、用户名和密码。


    • 如果选择的数据源类型为ElasticSearch,则需要填写ES URL、用户名和密码。

    • 如果选择的数据源类型为HBase(HBase 0.94.x或者HBase 1.1.x),则需要配置的信息包括:
      • HBase的连接地址和连接参数(JSON形式)。
      • 是否开启Kerberos验证。如果开启Kerberos验证,还需要配置KDC Server、Keytab文件、Principal等。


    • 如果选择的数据源类型为MongoDB,则需要配置的信息包括:JDBC URL、用户名和密码。

    • 如果选择的数据源类型为AnalyticDB(原ADS),则需要配置的信息包括:JDBC URL、用户名和密码。

  5. 数据源信息填写完成后,单击测试连接。返回测试成功后,单击确定

其他操作

  • 超级管理员和物理数据源的创建者可以对已添加的物理数据源进行连接测试,以确保物理数据源的连接信息正确、通过校验,避免对应的项目在提交数据同步任务时产生连接错误。

  • 超级管理员和物理数据源的创建者还可以对已添加的物理数据源进行如下操作:
    • 修改连接信息。

    • 删除物理数据源。

    • 转移Owner。