本文介绍如何在Databricks数据洞察实现访问外部数据源的需求。

背景信息

Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据,支持通过添加外部数据源的方式,打通您现有其他类型集群的网络。目前支持的数据源类型有三种:Aliyun EMR HDFS,Aliyun EMR Kafka 和 Aliyun ECS。

绑定数据源

绑定数据源的本质是打通集群间的网络,即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后,您可以在Notebook或Spark作业里直接访问相应的集群数据。

说明 对于数据源绑定场景,如果多个数据源共用一个VPC下的交换机,打通其中一个数据源意味着相同交换机下的所有数据源一并打通。因此,只能打通同一Region下的数据源。
  1. 在Databricks数据洞察控制台,进入集群详情页面。
  2. 点击详情页面数据源标签,在添加数据源弹窗选择要添加的数据源类型。
  3. 在所选类型的数据源列表里勾选希望绑定的EMR集群或ECS实例(支持复选)。
  4. 建议补充数据源描述信息,便于辨识已绑定数据源实例。
  5. 点击下一步,确认安全组和交换机信息
说明 对于Aliyun EMR HDFS和Aliyun EMR Kafka类型数据源,目前支持各自添加一个集群 。Aliyun ECS类型可以多选,如果是自建集群(如Kafka或HDFS),只需要选择集群中的一个实例即可。

数据源访问说明

对于Aliyun EMR HDFS集群,数据源打通之后您可以通过以下方式访问集群数据。

对于HA集群,默认使用emr-cluster作为hostname。
sc.textFile("hdfs://emr-cluster/tmp/user0/airline_statistic_usa.csv").count()

对于非HA集群,请直接使用EMR HDFS集群namenode的ip访问。

sc.textFile("hdfs://192.168.xxx.xxx:9000/tmp/user0/airline_statistic_usa.csv").count()
说明 对于Aliyun EMR Kafka集群,支持通过ip或者hostename访问。

解绑数据源

解绑数据源本质是将数据源所在VPC与目标Databricks数据洞察集群VPC网络隔离。如果多个数据源共用一个交换机,解绑操作会使得当前Databricks数据洞察集群无法继续访问该交换机下所有数据源集群。

  1. 在Databricks数据洞察控制台,进入集群详情页面。
  2. 点击详情页面数据源标签。
  3. 在已绑定数据源列表里选择要解绑的交换机,点击解绑即可。