资产治理能够识别Dataphin内低价值和异常的数据资产和任务,同时您可以在治理工作台中,进行一站式的优化处理,全局把控计算与存储成本,提升系统使用效率。本文为您介绍资产治理的应用场景、功能优势、相关概念等,帮助您了解资源治理功能。

应用场景

  • 场景1:存储优化

    存储优化主要针对于长期没有使用的数据表。大数据场景下,一个公司往往有上万张表,随着业务的变更和人员的流动,一些数据表逐渐就无人使用,同时因为数据表多个分区进行存储,会一直占着大量的存储资源。

    Dataphin资产治理功能可以自动识别长期没有使用的数据表,并在治理工作台进行提醒和展示。您可以在治理工作台查看相应数据表,并采取相应的措施(例如表下线、设置表生命周期、使用专门的工具进行压缩归档等)。

    例如,某公司的原始数据,一个分区可能就有1T,但是业务每次都只会用最新的分区,就会导致大量的历史分区的存储浪费。您可以使用资产治理设置分区的过期策略,对历史分区进行下线操作。

  • 场景2:计算优化

    大数据场景下计算资源的重要价值和昂贵成本,需要每个任务都按需使用。而在实际的业务开发过程中,存在大量的异常计算任务,浪费了大量的计算资源,如暴力扫描(扫描大量分区)、数据膨胀(数据产出远远大于输入)、数据倾斜(部分节点处理时间过长)等情况。

    Dataphin的资源治理功能,对任务的执行进行了全链路的监控,自动发现异常的计算任务,并在治理工作台进行提醒和展示。您可以在治理工作台查看相应任务,并采取相应的措施(对相应的任务进行优化、下线等操作)。

    例如,您发现数据的输出远远大于数据的输入,可能就是存在数据膨胀的问题(例如使用了full join),这时就需要对任务进行优化,以优化性能。

功能优势

  • 内置治理项:Dataphin对内部的数据生产和存储都进行了元数据的采集,同时内置了最常见的存储和计算治理项,您可以快速看到全局的资源情况,并进行相应的优化分析。
  • 治理项支持灵活自定义:Dataphin支持自定义治理元数据和治理项,能够适应更加灵活的治理场景。例如,想进行小表格的检测,就可以新建治理项【小于1MB的表】,从而自动检验出这部分的数据表,并进行针对性治理。
  • 密切结合数据生产场景:资产治理模块与数据研发模块、数据资产模块进行了紧密的结合。资产治理可以识别到需要的治理事项,您可以直接在治理工作台进行治理,从而实现一站式资源治理工作。

相关概念

概念 概念解释
资源 即Dataphin所管理的计算资源和存储资源。
存储健康分 针对系统在存储领域的健康分统计,包括全局、项目、个人三个维度。
计算健康分 针对系统在计算领域的健康分统计,包括全局、项目、个人三个维度。
治理领域 即支持进行治理的资源类型,当前支持存储、计算两类治理领域。
治理对象 需要治理的对象。根据治理领域中对所治理对象的分类;不同类别的对象有不同的治理操作。例如:
  • 存储治理中,治理对象包括物理表、逻辑表。
  • 计算治理中,治理对象包括脚本任务、逻辑表任务等。
治理项 Dataphin识别到的治理对象需要治理的项目。Dataphin内置了治理项和您已可以自定义治理项:
  • 系统内置治理项:
    • 存储领域的物理表治理项包括未管理表、空表、生命周期过长、废弃表、非常规空表。
    • 存储领域的逻辑表治理项包括逻辑空表、黑盒物化空表、逻辑废弃表、逻辑未管理表。
    • 计算领域的治理对象治理项包括输入为空、出错节点、产出表未被读、暴力扫描、数据倾斜、导入为空、数据膨胀。
  • 自定义治理项:支持基于内置的元数据和您注册的元数据进行自定义治理项,详情请参见治理项管理
治理事项 治理项对资源进行扫描后,在治理工作台会生成一个治理事项,即需要操作的一个具体的数据表或者数据任务。
治理操作 对治理事项可以选择相应的治理操作。存储治理包括表下线、设置生命周期等;计算治理包括任务下线、任务暂停等。

功能介绍

治理模块包括资源管理治理概览治理工作台治理项管理回收站
  • 资源管理主要用于分析资源。资源分析是从全局视角为您展示资源消耗、资源消耗增速、资源消耗分布及资源治理概况。
  • 治理概览治理分析治理效果组成。治理分析针对全局进行问题诊断、待治理问题点的分析。治理效果助您分析治理后效果,评定治理情况、推动治理优化。
  • 治理工作台我的治理面向当前登录用户,根据其所参与和所负责的项目,为您提供高效快捷的治理入口和能力。项目治理面向当前登录用户,根据其所参与和所负责项目的信息进行管理。
  • 治理项管理元数据注册治理项管理推送管理任务管理组成。您可以自定义创建治理项、发起推送、查看任务执行,也可以使用系统内置的通用治理项。
  • 回收站将您在治理工作台中删除或下线的表格暂时存留起来,以防止对数据的误操作。

使用流程

faga
  1. 元数据注册
  2. 治理项管理
  3. 推送管理
  4. 管理治理工作台
  5. 治理效果治理分析

入口介绍

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击资产
  4. 资产页面,单击顶部菜单栏中的治理,进入治理模块。