本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。
前提条件
操作步骤
进入数据质量页面。
登录DataWorks控制台,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据质量。
进入表规则配置页面。
在数据质量左侧导航栏,单击
根据如下参数定位目标表。数据源:E-MapReduce。
数据库:您当前的生产项目。
表:本案例需要为dwd_log_info_di_emr表设置监控规则。
在搜索结果中找到目标表,单击操作列的监控配置,进入该表的规则配置页面。具体配置参考下文操作。
配置分区表达式。
在表的监控规则配置页面,单击分区表达式后的,进入添加分区页面。
在添加分区对话框中,选择分区表达式为dt=$[yyyymmdd-1],并选择相应的数据质量插件。
单击计算,查看计算结果是否符合预期,确认无误后单击确定。
配置监控规则。
单击创建规则,进入创建规则页面。
单击添加监控规则,配置如下参数,并单击批量添加。
参数
描述
规则名称
新建规则的名称。
强弱
设置规则的强度为强。
动态阈值
根据自身需求,选择是否开启动态阈值。
说明您需要购买DataWorks企业版及以上版本,才可以使用动态阈值功能。
规则来源
包括内置模板和规则模板库。
说明您需要购买DataWorks企业版及以上版本,才可以选择规则模板库。
规则字段
请选择表级规则(table)。
规则模板
请选择表行数,固定值。
比较方式
请选择大于。
期望值
设置为0,即比较方式为期望值大于0。
试跑质量规则。
单击试跑,进入试跑对话框。
在试跑对话框中,选择调度时间和资源组,单击试跑。
试跑完成后,可根据界面指引查看试跑结果。
进行关联调度。
在数据质量规则配置页面,单击关联调度。
在关联调度对话框中,输入节点名称,单击添加。
添加完成后,即可完成与调度节点任务的绑定,则任务实例运行完成会触发数据质量的检查。
订阅规则校验结果。
在数据质量规则配置页面,单击订阅管理。
在订阅管理对话框中,设置订阅方式和接受对象。
设置完成后,单击保存,您可以进入我的订阅页面进行查看和修改。
- 本页导读 (1)