本文为您介绍如何新建实时元表规则。
前提条件
已经添加监控对象才可配置质量规则,如何添加监控对象,请参见添加监控对象。
权限说明
超级管理员、质量管理员和实时元表负责人支持为质量规则配置调度、告警等。
质量负责人、普通用户需要额外具备实时元表的同步读取权限,如需申请实时元表权限,详情请参见申请、续期和交还表权限。
质量规则试跑和运行区别
试跑和运行的区别在于执行的方式和显示的结果,试跑指对某个质量规则进行一次模拟执行,以检测规则的正确性和运行情况,试跑的结果不会在质量报告中显示;运行指在特定时间内对质量规则进行检查,运行的结果会输出到质量报告中,便于用户查看和分析。
元表规则说明
规则类型 | 描述 |
统计趋势监测 | 统计趋势监测校验数据值及数据变化趋势。 |
实时多链路对比 | 在业务有强保障场景中,可以通过实时双链路或实时三链路质量规则,监测数据。如果有异常,运维人员能够及时切换或备份数据。实时多链路对比质量规则支持监控数据滞留、统计偏差等问题。 |
实时离线数据核对 | 实时数据与离线数据在使用相同统计路逻辑时,实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大,可能存在数据质量的问题。 |
质量规则配置
在Dataphin首页,单击顶部菜单栏的资产。
按照下图操作指引,进入质量规则详情页面,配置质量规则。
在质量规则详情页面,单击新建质量规则。
在创建质量规则对话框,配置参数。
参数
描述
规则名称
自定义质量规则的名称。
规则强度
支持弱规则和强规则。
如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
如果您选择了强规则,则质量规则校验的结果为异常时报警,同时在有下游任务的情况下(代码检查调度、任务触发调度)会阻塞下游任务,防止污染数据扩散;如果没有下游任务(如周期质量调度),则仅告警。
描述
自定义质量规则描述。不超过128字符。
规则模板
下拉可选择规则模板,一致性、稳定性。
一致性:包含实时离线对比和实时对链路对比。
稳定性:包含实时统计值检测。
详情请参见实时元表模板类型。
规则类型
规则类型和模板有关,是模板最基础的属性,可作为说明和筛选功能。
规则配置
根据所选的规则模板进行规则配置。详情请参见离线链路对比参数配置、多链路对比参数配置。
校验配置
数据质量规则校验后,结果会和异常校验的配置进行对比,符合条件则校验结果为不通过;同时触发告警等后续流程。
异常校验可用指标由模板和配置内容决定,支持多种条件的and/or条件,实际配置中建议小于3条。
详情请参见校验配置说明。
单击确定,完成质量规则的配置。
预览SQL
说明关键信息没有填写完整,预览SQL不可用。
左边为上次保存配置SQL预览,若未配置,则为空;右边为当前配置SQL预览。
规则配置列表
您可以在规则配置列表页面查看已经配置的元表规则信息,并进行查看、编辑、试跑、运行、删除等操作。
区域 | 描述 |
①筛选及搜索区 | 支持按照对象或规则名称进行快捷搜索。 支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。 |
②列表区 | 为您展示规则配置列表的对象名称、规则名称、试跑状态、生效状态、规则类型、规则模板、规则强度、调度类型、相关知识库文档信息。
|
③操作区 | 您可进行查看、克隆、编辑、试跑、运行、调度配置、关联知识库文档、删除操作。
|
④批量操作区 | 您可批量进行试跑、运行、配置调度、开启、关闭、关联知识库文档、删除操作。
|
新建调度
规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。
同一个规则最多能配置10个调度。
调度配置完全一致时,支持自动去重。
在质量规则详情页面,按照下图操作指引,进入新建调度对话框。
在新建调度对话框,配置参数。
参数
描述
调度名称
自定义调度名称。
调度类型
支持定时调度、数据更新触发调度和固定任务触发调度。
定时调度:按照设置的时间,周期性地对数据进行质量检测,适合数据文档产出的场景。
调度周期:包含日、周、月、小时、分钟五种周期类型。
数据更新触发调度:在每一个代码任务执行时,会检查是否修改了该规则所覆盖的表/分区;如果涉及到配置了该调度方式的表发生变更,则会开始执行质量规则。
说明适用于表的修改任务不固定/重点监控表,每次变更都需要监控的情况。
固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。
说明适用于表的修改任务固定的情况。
固定任务触发只能选择生产环境任务,若规则强度配置了强规则,调度任务校验失败,可能会影响线上任务,请根据业务需求谨慎操作。
触发任务:支持选择所有任务均完成触发、任一任务完成即触发和任一任务执行前触发。
调度条件
默认关闭,开启后,在质量规则正式调度前,会先判断是否满足调度条件。满足条件才会正式调度,不满足条件则忽略本次调度。
业务日期/执行日期:若调度类型选择定时调度(定时调度不支持执行日期)、数据更新触发调度、固定任务触发调度,支持配置日期,可选择普通日历或自定义日历,如何自定义日历,请参见新建公共日历。
若选择普通日历,则条件可选月份、星期、日期。例如下图:
若选择自定义日历,则条件可选日期类型、标签。例如下图:
实例类型:若调度类型选择数据更新触发调度、固定任务触发调度,支持配置实例类型,可选择周期实例、补数据实例、手动实例。例如下图:
说明至少配置一条规则。如需添加规则,请单击+添加规则按钮。
最多配置10个调度条件。
调度条件之间的关系可配置为且、或。
单击确定,完成调度配置。
调度配置列表
调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作。
区域 | 描述 |
①筛选及搜索区 | 支持按照调度名称进行快捷搜索。 支持按照定时调度、数据更新触发调度、固定任务触发调度进行筛选。 |
②列表区 | 为您展示规则配置列表的调度名称、调度类型、最后更新人、最后更新时间信息。 |
③操作区 | 您可对调度执行编辑、克隆、删除操作。
|
告警配置
您可以给不同的规则配置不同的告警方式以实现区分告警,如:为强规则异常配置电话告警,弱规则异常配置短信告警;如果一个规则同时命中了多条告警配置,支持设置告警的生效策略。
单个监控对象下支持创建不超过20个告警配置。
在质量规则详情页面,按照下图指引,进入新建告警配置对话框。
在新建告警配置对话框,配置参数。
参数
描述
覆盖范围
支持选择所有规则、所有强规则、所有弱规则和自定义。
说明单个监控对象下,所有规则、所有强规则和所有弱规则3种范围支持各配置一条告警,后续新增的规则根据规则强度自动匹配对应的告警;如需变更其中的某一条告警配置,可修改已有配置。
自定义范围可选择当前监控对象下已配置的所有规则,不超过200条。
告警配置名称
单个监控对象下告警配置名称唯一;不超过256字符。
告警接收人
配置告警接收人及告警方式。需选择至少一种告警接收人及告警方式。
告警接收人:支持选择自定义、值班表和质量负责人三种告警接收人。
支持配置不超过5个自定义告警接收人;支持配置不超过3个值班表。
告警方式:支持选择电话、邮件、短信、钉钉不同的接收方式。
单击确定,完成告警配置。
告警配置列表
告警配置完成后,您可在告警配置列表中进行排序、编辑、删除操作。
序号 | 描述 |
①排序区 | 支持配置一条质量规则符合多条告警配置时的告警生效策略:
|
②列表区 | 为您展示告警配置的名称、生效范围、每种告警类型的具体接收人以及对应的告警接收方式。 生效范围:自定义告警支持查看配置的对象名和规则名,若该规则被删除,则无法查看对象名,建议您更新告警配置。 |
③操作区 | 您可对配置的告警执行编辑和删除操作。
|
查看质量报告
单击质量报告,查看当前质量规则的规则校验概览和规则校验明细。
您可根据异常结果、分区时间、规则或对象的名称关键字快捷筛选校验明细。
单击图标,查看质量规则的规则校验详情。
单击图标,查看质量规则的执行日志。
设置质量规则权限管理
单击权限管理,指定成员查看校验记录详情、质量规则详情、质量报告。
可查看详情:可选择所有成员或仅超级管理员、质量管理员和质量负责人。
单击确定,完成权限管理配置。
后续步骤
上述质量规则配置完成后,即可在实时元表规则列表页面查看。详情请参见查看监控对象列表。
- 本页导读 (0)