全部产品
云市场
云游戏

数仓开发简介

更新时间:2020-03-29 10:15:50

在企业里,很多有价值的数据(如:交易数据、客户信息等)都存储在数据库中。如何便捷地对这些数据进行分析加工,最终转换成商业智能?DMS近期推出数仓开发功能,旨在为用户提供数据集成、加工、可视化和价值挖掘的一站式开发平台。DMS数仓开发依托数据库为主要计算引擎,融合了数据库生态里的多种工具和服务(如:DTS、DLA),让用户可以轻松拥有数据仓库并进行开发和管理。DMS数仓开发的主要特性:

  • 数仓引擎自由选择:用户可根据企业规模、数据量大小和实时性要求,自由选择数据库引擎产品(如:ADB、DLA、PolarDB、RDS等)进行数仓开发,DMS数仓开发平等对待所有的数据库引擎产品。
  • 两种开发模式:DMS数仓开发提供了两种开发模式(任务编排、数据仓库)以满足不同专业程度的用户对数仓开发的需求。在任务编排模式下,用户无需数据仓库的专业知识,只需要关注业务逻辑,通过创建任务流和编写任务节点SQL就能完成开发任务。数据仓库模式则主要满足专业数仓开发者的需求,提供了主题管理、层级管理、生产发布、多人协作、数据地图、数据质量控制等各种功能(注:有些功能待发布),为企业提供专业的数仓开发解决方案。
  • 支持离线数仓和实时数仓:通过离线数据同步和周期任务调度,用户在DMS上可轻松实现传统的离线数仓开发。同时,DMS打通了阿里云的DTS和ADB产品,用户通过DTS实时同步任务和ADB引擎的组合可轻松搭建实时数仓系统,并在DMS上进行数据开发和实时消费。
  • 离在线一体全域数据管理:依托DMS的统一数据库管理和权限管控能力,DMS可对用户的在线库(如:OLTP)和离线库(如:OLAP)进行综合管理,避免了离线与在线系统割裂造成的数据安全问题。同时,DMS也能够全生命周期地追踪数据血缘并进行影响分析。

下图展示了使用DMS做数仓开发的主要步骤:数仓开发流程

  1. 数仓引擎选择:根据业务需求购买/选择一款合适的数据库内核产品(如:PolarDB、RDS或ADB等)作为数据仓库
  2. 数据集成:将待分析的数据从外部数据源(如:交易库)同步至数据仓库中
  3. 数据开发:通过创建表、任务流和配置调度,对数据仓库中的数据进行加工
  4. 数据应用:对加工完的数据提供消费渠道,如:生成数据API和可视化图表
  5. 数据治理:对数仓开发整个过程中的数据进行治理,如:监控数据质量,做数据血缘追踪和影响分析。