本文为您介绍如何管理Flink全托管自定义Connectors，包括创建、更新和删除。

背景信息

在使用Flink SQL开发作业时，需要使用SQL Connectors连接您的源表、结果表和维表。Flink全托管产品支持云上常用的多种类型的Connectors，但相对于目前大数据常用的技术栈而言，仍然只是较少的一部分，为了支持您可以使用更多类型的Connectors，我们支持您自定义Connectors后上传使用。在使用过程中，您需要注意以下事项：
  • 您需要根据社区定义的Connectors标准开发您自定义的Connectors，才能正确的被Flink全托管产品识别并使用，因此您需要明确的Connector Meta文件和申明Factory类。
  • 如果您提交的自定义Connectors类型，Flink全托管产品已经内置，则将以您提交的自定义Connectors来启动作业，如果您后续删除了自定义的Connectors，则会使用Flink全托管产品内置的Connectors。
  • 同种类型的Connectors仅可以上传一次。
为了避免JAR依赖冲突，您需要注意以下几点：
  • Flink镜像和Pom依赖Flink版本请保持一致。
  • 请不要上传Runtime层的JAR，即在依赖中添加<scope>provided</scope>。
  • 其他第三方依赖请采用Shade方式打包，Shade打包详情参见Apache Maven Shade Plugin。

创建自定义Connectors

  1. 登录实时计算统一控制台。
  2. 在Flink全托管页签，单击目标工作空间操作列下的开发控制台。
  3. 在左侧导航栏，选择应用 > SQL编辑器。
  4. 单击Connectors页签。
  5. 单击加号图标。
    添加connector
  6. 上传自定义Connectors JAR文件。
    上传JAR
    您可以通过以下任何一种方式上传自定义Connectors JAR文件：
    • 上传文件：单击选择文件后，选择您的目标Connectors JAR文件。
    • 外部URL：输入外部URL地址。
  7. 上传完成后，单击继续。
    系统会对您上传的自定义Connectors内容进行解析。如果解析成功，您可以继续下一步。如果解析失败，请确认您上传的自定义Connectors代码是否符合Flink社区标准。
  8. 单击完成。
    创建完成的自定义Connectors会出现在Connectors列表中。

更新自定义Connectors

  1. 登录实时计算统一控制台。
  2. 在Flink全托管页签，单击目标工作空间操作列下的开发控制台。
  3. 在左侧导航栏，选择应用 > SQL编辑器。
  4. 单击Connectors页签。
  5. 在Connectors列表中，鼠标悬停在目标自定义Connectors名称上，单击更新JAR。
  6. 上传自定义Connectors JAR文件。
    修改connector
    您可以通过以下任何一种方式上传自定义Connectors JAR文件：
    • 上传文件：单击选择文件后，选择您的目标Connectors JAR文件。
    • 外部URL：输入外部URL地址。
  7. 上传完成后，单击继续。
    系统会对您上传的自定义Connectors内容进行解析。如果解析成功，您可以继续下一步。如果解析失败，请确认您上传的自定义Connectors代码是否符合Flink社区标准。
  8. 单击完成。
    创建完成的自定义Connectors会出现在Connectors列表中。

删除自定义Connectors

如果您的自定义Connectors不再使用，您可以按照以下步骤删除自定义Connectors。

  1. 登录实时计算统一控制台。
  2. 在Flink全托管页签，单击目标工作空间操作列下的开发控制台。
  3. 在左侧导航栏，选择应用 > SQL编辑器。
  4. 单击Connectors页签。
  5. 在Connectors列表中，鼠标悬停在目标自定义Connectors名称上，单击删除JAR图标。
  6. 单击确认。