您可以在云原生数据仓库AnalyticDB MySQL版控制台上通过一键建仓将一个日志服务项目(Project)中的日志投递到AnalyticDB MySQL集群,快速创建日志仓库。

适用范围

一键创建数据仓库仅适用于AnalyticDB MySQL版数仓版(3.0)集群。

前提条件

计费

日志数据投递到AnalyticDB MySQL的费用包含:
  • 数据投递费用
  • 读写次数费用
  • 读流量费用
具体计费规则,请参见计费项

应用场景

一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题,同时提供了高性价比的AnalyticDB MySQL版存储计算资源方案。一键建仓适用于以下场景:
  • 全库同步。通过一键建仓一键生成同步链路,将一个或多个日志库中的数据同步到同一个AnalyticDB MySQL版集群中。
  • 多源汇集。通过一键建仓,可以将RDS、PolarDB MySQL、日志数据便捷地汇集到同一个AnalyticDB MySQL版集群。

操作步骤

  1. 登录云原生数据仓库AnalyticDB MySQL控制台
  2. 在左侧导航栏,单击集群列表
  3. 单击一键建仓 > 日志一键建仓
  4. 日志一键建仓页面,按照页面提示进行参数配置。
    qwesad
    参数说明
    Project名称Project名称下拉列表,选择日志服务。
    重要 目前日志服务仅支持投递日志到相同地域的AnalyticDB MySQL
    Logstore名称Logstore名称下拉列表,选择日志库。
    投递名称为投递任务取一个名字,便于后续管理。
    投递描述为投递任务填写有意义的描述,便于后续管理。
    集群名称从下拉列表中选择目标AnalyticDB MySQL集群。
    数据库名称从下拉列表中选择目标AnalyticDB MySQL数据库名。
    表名从下拉列表中选择目标AnalyticDB MySQL表名。
    账号名称目标AnalyticDB MySQL中创建的数据库账号
    账号密码填写账号名称对应的密码。
    字段映射系统自动提取日志服务中最近10分钟的日志字段,同时自动映射对应的AnalyticDB MySQL字段。

    单击增加一条新增字段。

    投递开始时间设置投递开始时间。

    当数据写入日志服务后,日志服务实时将数据投递到AnalyticDB MySQL表中。

    是否过滤脏数据设置是否过滤脏数据。
    • :遇到脏数据时,投递任务自动中断。
    • :遇到脏数据时,过滤掉脏数据。

      脏数据包括数据类型转化失败和非空字段为空等。

  5. 完成上述参数配置后,单击确定,日志服务将在您设置的投递时间将日志实时投递到AnalyticDB MySQL表中。

    将日志投递到AnalyticDB MySQL后,您就可以通过SELECT对日志数据进行自由灵活地分析。

    更多日志服务信息,请参见日志服务

查看或变更同步任务

通过AnalyticDB MySQL控制台查看或变更同步任务

云原生数据仓库AnalyticDB MySQL控制台同步概览页面,可查看该集群下的同步任务详情。您也可以修改同步的数据源,暂停、启动、删除同步任务。

通过DTS控制台查看同步任务

  1. 登录数据传输控制台
  2. 在左侧导航栏,单击数据同步
  3. 同步任务页面顶部,选择数据同步实例所属地域。
    说明 数据同步实例的所属地域与目标AnalyticDB MySQL版集群所属地域一致。
  4. 同步任务页的搜索框中,输入任务名ADB一键建仓同步作业,即可查看当前地域下所有AnalyticDB MySQL版一键建仓的同步任务详情。
    说明 DTS同步任务详情,请参见查看同步链路状态和性能

相关文档