本文介绍如何使用阿里云日志服务接入电商系统Web服务器,并在函数计算中编写ETL托管程序,对日志服务中的数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL托管程序通过日志服务触发器以秒级准实时的频率被调用。

应用场景

  • 数据加工场景:实时消费日志服务写入的日志。
  • 数据投递场景:从数据源抽取出所需的数据,按照预先定义好的数据仓库模型,将经过加工的数据加载到数据仓库。

方案介绍

方案架构如下:

方案介绍

方案流程如下:

  1. 通过Logtail在本地对接入日志进行解析,并将解析成功的日志上传至源Logstore。
  2. 源日志库接收并保存机器组中Logtail解析成功并上报的日志记录。
  3. 在函数计算中部署ETL托管函数,通过日志服务触发器定期触发函数执行,对原始日志进行ETL操作,并将处理后的数据写入目标Logstore。
  4. 集中保存经过ETL托管函数处理的日志信息,同时可以通过日志服务提供的功能对数据进行分析或可视化展示。

方案优势

  • 一站式采集、存储、加工、分析和展示。
  • 全托管日志加工任务,按时间周期进行触发执行,自动重试。
  • 日志库资源按Shard水平扩展,满足大数据需求。
  • 基于函数计算提供数据加工、弹性资源、按需付费以及自定义代码逻辑。
  • 持续增加内置函数模板,降低主流需求下的函数开发代价。

方案详情

更多信息,请参见使用函数计算对日志服务中的数据进行ETL数据处理