本文介绍云原生架构下日志服务数据预处理的场景描述、方案优势、解决问题、架构图及操作参考链接。

场景描述

某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦以下几个典型场景:
  • 跨地域/跨账号数据汇集。
  • 数据内容富化(join维表)。
  • 数据投递/归档、入湖分析。
  • 统一采集,按业务分发分析。
  • 数据监控与智能告警。

方案优势

  • 数据规整:对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后 续的流处理、数仓计算。
  • 数据富化:日志(例如业务订单)与维表(例如用户信息MySQL表)进行字段join,为日志添加更多维度信息供分析。
  • 数据分发/汇聚:将全量日志按转发规则分别提取到多个下游存储供不同业务使用。
  • 监控告警:监控大规模数据,触发告警,支持机器学习算法(例如,智能巡检),通过告警策略配置,对触发的告警进行降噪处理(去重、静默、合并、抑制、路由分派等),然后分派给特定通知渠道(短信、邮件等)。

解决问题

如何对云上架构方案的成本、部署、运维、 回收进行全生命周期的管理。

架构图

日志架构图

参考链接

关于云原生架构下日志服务数据预处理的详情,请参见云原生架构下日志服务数据预处理