本文介绍如何在数据管理DMS中使用数据分析功能。

背景信息

传统数据分析的方法为:通过离线脚本将数据周期性地从源数据库采集至数据仓库(Hadoop、MaxCompute),再进行ETL(Extract-Transform-Load)开发。这种方法的时间性较差,通常需要T+1天(即第二天才能看到前一日的数据分析报表),且技术成本较高。

为解决上述问题,DMS推出的数据分析功能,结合了DTS的同步链路和AnalyticDB MySQL高性能的数据库分析引擎(简称ADB MySQL版),实现一键化创建实时同步的数据仓库。数据可在秒级的延迟下,同步至ADB MySQL版实例中,帮助您更实时、准确地掌握业务情况,以便更好地进行业务分析和决策,提升业务效果。
说明
  • 数据传输服务DTS(Data Transmission Service)具备极高的链路稳定性和数据可靠性,更多信息,请参见什么是数据传输服务DTS
  • ADB MySQL版是云端托管的大规模并行处理(MPP)的PB级数据仓库,具有快、灵活、易用、超大规模、高并发写入等特点,更多信息,请参见什么是云原生数据仓库MySQL版

费用说明

  • ADB MySQL版费用:若您购买新的ADB MySQL版将会产生新实例费用,更多信息,请参见AnalyticDB MySQL计费方式和价格
    说明 默认创建计费方式为包年包月、时长为3个月的ADB MySQL 3.0实例,若您首次购买ADB实例可享受3个月1元的活动。
  • DTS费用:会产生数据同步的费用,更多信息,请参见DTS产品定价
    说明 若在2021年03月31日前使用该功能,可免费使用2年DTS的数据同步实例。

前提条件

  • 源数据库为RDS MySQL,且该数据库为您的阿里云主账号所购买的。
  • 源数据库已登录(数据库管控模式为安全协同可忽略此项,关于管控模式的更多信息,请参见管控模式)。
    说明 若您需要将数据同步至已有的ADB MySQL版实例中,请先将该实例(ADB MySQL版实例)录入至DMS中并登录,更多信息,请参见云数据库录入
  • 您的用户角色为管理员、DBA、普通用户。
    说明 普通用户需要有RDS MySQL源库的导出权限、ADB MySQL目标库的变更权限(新购实例不涉及),关于权限的更多信息,请参见权限管理

操作步骤

  1. 登录数据管理DMS 5.0
    说明 如果您需要切换到旧版数据管理DMS,单击页面右下角返回旧版,进入数据管理DMS平台。具体操作,请参见数据管理DMS 5.0切换至旧版
  2. 在顶部菜单栏中,选择解决方案 > 数据分析
    说明 如果您使用的是旧版数据管理DMS,在顶部菜单栏中,选择全部功能 > 数据方案 > 导出 > 数据分析
  3. 配置数据来源分析引擎参数。
    配置数据分析
    配置项 说明
    数据来源 选择待分析的源数据库。
    分析引擎 选择分析的ADB引擎,支持的选项:
    • 购买ADB实例(默认8核32G):购买新的ADB MySQL版实例,请配置如下参数。
      • 地域:集群所在的地理位置,购买后无法更换地域。一般建议申请离客户业务最近的地域,从而提升用户访问速度。
      • 可用区:可用区是地域中的一个独立物理区域,不同可用区之间没有实质性区别。
      • 专有网络(VPC):专有网络VPC(Virtual Private Cloud),是一种隔离的网络环境,安全性较高。更多信息,请参见创建默认专有网络和交换机
      • 专有网络交换机:选择专有网络下的交换机。
      说明 默认创建计费方式为包年包月、时长为3个月的ADB MySQL 3.0实例,若您首次购买ADB实例可享受3个月1元的活动。
    • 已有ADB实例:请选择已有的ADB MySQL版实例ID。
      说明 当前仅支持ADB MySQL 3.0实例。
  4. 可选:单击高级配置,配置参数。
    配置项 说明
    目标库名 目标数据库名称,支持的选项:
    • 自动创建同名库(默认):在目标数据库中,创建同名的数据库。
    • 重命名库名:自定义目标数据库名称。
    同步方式 支持的选项(多选):
    • 结构初始化(默认):同步表结构至目标数据库,如果有重名的表会导致报错。
    • 全量(默认):同步全量数据至目标数据库。
    • 增量:同步增量数据至目标数据库,无法取消。
    同步范围 支持的选项:
    • 全库(默认):同步所有表至目标数据库。
    • 部分表:自定义同步的表(支持多选)。
  5. 单击提交申请
    系统会进行数据库权限检查。
  6. 单击提交审批
    审批通过后,系统将根据配置项执行同步任务。您可以在数据同步区域,查看同步进展。
    说明 若您购买了新实例,系统将为您创建默认的数据库账户密码,并自动录入至DMS中,您可以在云原生数据仓库AnalyticDB MySQL控制台,查看新创建的实例与重置密码。

后续步骤

您可以在数据分析工单详情页的底部,进行如下操作:

  • 单击SQL Console,实时分析数仓数据,更多信息,请参见SQL Console介绍
  • 单击任务编排,采用SQL等方式进行ETL(Extract-Transform-Load)开发,更多信息,请参见任务编排概览
  • 单击数据可视化,基于实时数据制作实时报表,更多信息,请参见数据可视化概览
  • 单击数据服务,基于实时数据提供API,更多信息,请参见数据服务概览
数据分析后续