本文为您介绍实时计算Flink版作业开发流程以及语法检查、配置作业参数、配置项目参数、SQL辅助和SQL版本管理功能。

背景信息

说明
  • 实时计算Flink版主要使用Flink SQL进行作业开发,Flink SQL开发手册请参见概述
  • 实时计算Flink版独享模式不支持归档保存已停止(含暂停)的作业运行日志。如果您需要查询已停止(含暂停)的作业运行日志,请将日志输出至您自定义的日志服务SLS或对象存储OSS中。详情请参见自定义日志级别和下载路径

编写SQL代码

  1. 登录实时计算控制台
  2. 在页面顶部,单击开发
  3. 开发页面,单击页面顶部的新建作业
  4. 新建作业界面,输入作业配置信息。
    作业参数 说明
    文件名称 作业的名称。
    说明 作业名称在当前项目中必须保持唯一。
    作业类型
    • 共享模式:仅支持FLINK_STREAM/SQL作业类型。
    • 独享模式:支持FLINK_STREAM/DATASTREAMFLINK_STREAM/SQL作业类型。
    存储位置 在文件夹目录中,指定该作业的代码文件所属的文件夹。您还可以单击现有文件夹右侧的新建文件夹图标,新建子文件夹。
  5. 单击确定
  6. 在作业编辑页面,编写SQL代码。
    说明
    • 您可以在作业开发页面右侧的代码结构查看SQL代码结构。
    • 建议您使用作业开发页面左侧的数据存储管理上下游存储,详情请参见数据存储概述

配置作业参数

  1. 登录实时计算控制台
  2. 在页面顶部,单击开发
  3. 在左侧作业开发列表页面,单击目标作业名称。
  4. 在目标作业开发页面右侧,单击作业参数
  5. 配置作业所需参数。
    作业参数配置详情,请参见作业参数调优

配置项目参数

作业参数针对单个作业生效,项目参数针对该项目下所有作业生效,开启项目参数后,会产生以下两种效果:
  • 替换变量:单击启动、调试或语法检查后,系统会替换SQL作业中的变量或Datastream作业中代码的变量。
  • 参数下发:项目级别系统参数会与作业参数、启动参数(仅Batch作业可以配置)进行Merge,参数优先级为:启动参数 > 作业参数 > 项目级别系统参数。Merge后作为最终参数下发到Blink作业。例如,作业参数配置和项目参数配置冲突,系统则以作业参数配置为准。
  1. 登录实时计算控制台
  2. 在页面顶部菜单栏上,鼠标悬停在用户头像后,单击项目管理
  3. 项目列表区域,单击目标项目名称
  4. 在页面顶部,单击开发
  5. 在左侧作业开发列表页面,单击目标作业名称。
  6. 配置项目参数生效。
    该功能默认关闭(disable.project.config=false),您可以按照以下方式配置生效:
    • SQL作业:在作业参数中配置enable.project.config=true
    • Datastream作业:在代码中配置enable.project.config=true
  7. 在页面顶部,单击项目参数
  8. 配置项目所需参数。
    项目参数仅支持SQL和Datastream两种作业类型,在配置项目级别系统参数时,您需要在项目级别配置参数前添加作业类型前缀,例如,sql.name=LiLeidatastream.name=HanMeimei

启动语法检查

  1. 登录实时计算控制台
  2. 在页面顶部,单击开发
  3. 在左侧作业开发列表页面,单击目标作业名称。
  4. 在目标作业开发页面上方,单击语法检查
    说明
    • 保存作业可以触发SQL语法检查功能。
    • 请编写完整的SQL逻辑后再进行语法检查,否则语法检查不生效。

SQL辅助

  • Flink SQL语法检查

    在您修改SQL后即可自动保存。保存操作可以触发SQL语法检查功能。语法校验出错后,将在作业开发页面提示出错行数、列数以及错误原因。

  • Flink SQL智能提示

    在您输入Flink SQL过程中,作业开发页面提供包括关键字、内置函数、表和字段智能记忆等提示功能。

  • Flink SQL语法高亮显示

    高亮显示Flink SQL中关键字,使用不同的颜色区分Flink SQL语法中不同的结构。

SQL版本管理

实时计算Flink版为您提供代码版本管理功能。每提交一次作业即可生成一个代码版本。代码版本用于版本追踪、版本修改以及后期版本回滚。

  1. 登录实时计算控制台
  2. 在页面顶部,单击开发
  3. 在左侧作业开发列表页面,单击目标作业名称。
  4. 在目标作业开发页面右侧,单击版本信息
  5. 单击操作 > 更多
  6. 选择相应的版本管理功能。
    • 对比:查看最新代码和指定版本的差异。
    • 回滚:回滚到指定版本。
    • 删除:实时计算Flink版默认版本数上限为20。在版本数小于20时,您可以提交作业。如果当前的版本数为20,系统将不允许该作业的提交请求,并提示您删除部分旧版本作业。
      说明 当前版本数低于版本上限数后可以再次提交作业。
    • 锁定:锁定当前作业版本。
      说明 解锁前无法提交新版本。