本文为您介绍如何管理Flink全托管自定义Connectors,包括创建、更新和删除。
背景信息
在使用Flink SQL开发作业时,需要使用SQL Connectors连接您的源表、结果表和维表。Flink全托管产品支持云上常用的多种类型的Connectors,但相对于目前大数据常用的技术栈而言,仍然只是较少的一部分,为了支持您可以使用更多类型的Connectors,我们支持您自定义Connectors后上传使用。在使用过程中,您需要注意以下事项:
- 您需要根据社区定义的Connectors标准开发您自定义的Connectors,才能正确的被Flink全托管产品识别并使用,因此您需要明确的Connector Meta文件和申明Factory类。
- 如果您提交的自定义Connectors类型,Flink全托管产品已经内置,则将以您提交的自定义Connectors来启动作业,如果您后续删除了自定义的Connectors,则会使用Flink全托管产品内置的Connectors。
- 同种类型的Connectors仅可以上传一次。
为了避免JAR依赖冲突,您需要注意以下几点:
- Flink镜像和Pom依赖Flink版本请保持一致。
- 请不要上传Runtime层的JAR,即在依赖中添加
<scope>provided</scope>
。 - 其他第三方依赖请采用Shade方式打包,Shade打包详情参见Apache Maven Shade Plugin。
创建自定义Connectors
更新自定义Connectors
删除自定义Connectors
如果您的自定义Connectors不再使用,您可以按照以下步骤删除自定义Connectors。
- 登录实时计算统一控制台。
- 在Flink全托管页签,单击目标工作空间操作列下的开发控制台。
- 在左侧导航栏,选择 。
- 单击Connectors页签。
- 在Connectors列表中,鼠标悬停在目标自定义Connectors名称上,单击
图标。
- 单击确认。
在文档使用中是否遇到以下问题
更多建议
匿名提交