本文为您介绍如何创建FLINK_SQL类型的实时计算任务。

操作步骤

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 进入实时计算任务页面。
    1. 在Dataphin首页,单击顶部菜单栏研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 在数据开发页面,单击数据处理
    4. 数据处理页签,单击左侧导航栏的ceshi图标。
  4. 新建Flink_SQL计算任务。
    1. 实时计算任务页面,您可以通过以下任何一种方式,进入新建Flink_SQL
      • 单击实时计算任务后的图标,选择FLINK_SQL
      • 单击项目名称后的图标,选择数据处理 > 实时计算任务 > Flink_SQL
      • 开发首页,单击Flink_SQL后的图标。
    2. 根据新建Flink_SQL对话框提示,配置参数。
      参数 说明
      名称 实时计算任务的名称。 名称支持由小写英文字母、数字、下划线(_)组合组成。名称的限制如下:
      • 名称的长度范围为3~62个字符。
      • 项目内的名称不支持重复。
      • 名称仅支持以英文字母开头。
      选择目录 实时计算任务所属的目录。
      资源队列 该项目所绑定的实时计算源中的资源队列。
      引擎版本 当前资源队列所支持的版本。
    3. 单击确定,完成参数的配置。
  5. 开发Flink_SQL任务的代码。
    1. 在Flink_SQL任务代码编写页面,编写SQL代码。
      说明 在编写代码时,需要在代码开始部分使用SET语句将引用到的表的Access ID、Access Key进行说明。
    2. 代码编写完成后,单击预编译,校验代码任务的语法及权限问题。
    3. 执行以下操作,调试Flink_SQL代码任务。代码任务可以采样数据并进行本地调试,确保提交后代码的正确性。
      1. 在Flink_SQL任务代码编写页面,单击页面上方的调试
      2. 配置调试数据对话框,选择左侧数据表列表下的数据表,单击自动抽样
      3. 填写抽样条数后,单击确定
      4. 待所有数据表均完成采样后,单击配置调试数据页面下方的确定
      5. 调试结果页面,查看测试数据、中间结果和调试结果。
  6. 可选:配置Flink_SQL任务的参数。
    1. 在Flink_SQL代码开发页面,单击页面上方的任务参数
    2. 根据配置样例提示,配置实时任务的参数,包括checkpoint模式、间隔时间及其他需要在实时任务中用到的参数。
    3. 单击确定,完成任务参数的配置。
  7. 配置Flink_SQL任务。
    1. 在Flink_SQL代码开发页面,单击页面上方的任务配置
    2. 任务配置对话框,您可以执行以下操作。
      • 修改资源队列引擎版本
      • 配置资源配置类型,默认选择为系统推荐配置。您也可以选中自定义配置后,单击去配置。根据页面提示配置参数。
        模式 描述
        可视化配置 您可以配置资源组节点的执行参数和资源组中某个组件节点的执行参数。
        执行如下操作,配置资源组节点的执行参数:
        1. 在配置资源类型页面,单击可视化模式
        2. 单击某个资源组上方的图标。
        3. 根据对话框提示,配置参数。test
        4. 单击确定,完成资源组的执行参数的配置。
        5. 整个DAG图的资源组节点的执行参数定义完后,单击页面右上角的保存
        执行如下操作,配置资源组中组件节点的执行参数:
        1. 在配置资源类型页面,单击可视化模式
        2. 单击某个资源组上方的test图标,展开该组。
        3. 单击节点右上角的图标。
        4. 根据对话框提示,配置参数。trreshyah
        5. 单击确定,完成组件节点执行参数的配置。
        6. 整个DAG图的组件节点执行参数定义完后,单击页面右上角的保存
        代码模式 执行如下操作,配置资源类型:
        1. 在配置资源类型页面,单击代码模式
        2. 根据代码页面提示,定义资源组和组件节点的执行参数,单击页面右上角的保存
      • 单击保存资源信息记录后的保存当前配置为新纪录。在保存资源记录对话框中,输入资源记录名称后,单击确定
        同时,您可以对已有的资源信息记录执行以下操作:
        • 单击某个记录所在行操作列下的tesga图标,查看版本详情。
        • 单击某个记录所在行操作列下的taga图标后,在提示对话框中,单击确定,启用某个记录。
        • 单击某个记录所在行操作列下的teag图标后,在提示对话框中,单击确定,删除某个记录。
      • 单击tstw图标后,根据页面提示配置最大CU数期望最大内存,开启自动调优。
    3. 单击确定,完成Flink_SQL任务配置。
  8. 保存和提交实时计算任务。
    1. 单击页面右上角的feg图标,保存实时计算任务。
    2. 单击页面右上角的图标,提交实时计算任务。
  9. 可选:发布实时计算任务。
    • 如果您的开发模式是Dev-Prod模式,则需要发布实时计算任务,详情请参见发布任务
    • 如果您的开发模式是Basic模式,则不需要发布实时计算任务。