全部产品
云市场

任务

更新时间:2020-06-17 10:06:37

支持的任务类型

目前支持的数据开发任务类型:

  • 单实例SQL(在一个数据库实例上执行相应的SQL)
  • 跨库SQL(详情可见跨库查询DSQL
  • DTS数据迁移(基于DTS迁移封装而成的任务)
  • 表状态检查(通过SQL检查表中某一时间后的数据是否出现)

任务内容的编辑

  • DAG图中选中一个任务后,右侧参数面板会切换到任务配置
  • 选中“内容设置”进行编辑。
  • 如果觉得内容大小不合适,可以通过拖动面板左侧的按钮进行缩放。

task-edit

表状态检查任务

check_table

  • 目标——选择需要检查的数据库
  • 表——选择需要检查的表和时间列
  • 预览——可以查看检查的SQL
  • 重试次数——如果没发现数据,会重试
  • 重试间隔——检查失败时,等待的时间间隔

SQL任务支持语法

不同的数据库有不同的SQL语法,需要使用节点所选择的数据库语法编写SQL

以MySQL为例,支持产生数据

  • create table [if not exists]
  • create table … [as] select …
  • insert [replace] into … [select] …
  • update …

【清理数据】

  • delete from … [where] …
  • drop table [if exists]…
  • truncate table …

【存储过程相关】

  • set …
  • call …

变量配置

系统变量

目前只有一个:bizdate,默认格式是yyyy-MM-dd,表示运行时间减一天。

  • 比如当天时间是2019-08-15,那么bizdate为2019-08-14

自定义变量

  • DAG图中选中一个任务后,右侧参数面板会切换到任务配置
  • 所有自定义变量都是以bizdate的时间作偏移的,设置入口在任务的右侧“变量设置”中:custom_variable

变量的使用方式

在SQL任务中,用${变量名}表示。

变量的作用

用于替换SQL中的变量字符串,可以通过“SQL预览”的功能查看变量是否配置成功。

  • 例如自定义变量图中的yesterday设置为:variable
  • 那么通过“SQL预览”可以浏览替换变量后的SQL为:yulan

已支持的时间格式列表

字母 意义 例子
G 公元 “Gyyyy年” -> “公元2019年”
y 当天所在的年份 “yyyy” -> “2019”, “yy” -> “19”
Y 当周所在的年份 (2019-12-31)”YYYY” -> “2020”
M 月份 “MM” -> “08”
w 当年中所在的周数 “ww” -> “01”
W 当月中所在的周数 “W” -> “1”
D 当年中所在的天数 “D” -> “360”
d 当月中所在的天数 “dd” -> “02”
E 星期几 “E” -> “星期六”
a am/pm,“上午”/“下午”标记 “a” -> “上午”
H 当天小时数,[0, 23] “HH” -> “10”
k 当天小时数,[1, 24],0点是24 “kk” -> “11”
K 上午或下午的小时数, [0, 11] “KK” -> “01”
h 上午或下午的小时数,[1, 12] “hh” -> “02”
m 分钟数 “mm” -> “35”
s 秒数 “ss” -> “12”
S 毫秒数 “SSS” -> “079”
z 时区 “z” -> “UTC+08:00”

组合示例

  • 输入2019-08-02 11:05:21
    • “yyyy-MM-dd” 对应为 “2019-08-02”
    • “HH:mm:ss” 对应为 “11:05:21”
    • “yyyyMMdd HH:mm:ss” 对应为 “20190802 11:05:21”
    • “yyyyMM01”(月初) 对应为 “20190801”