阿里云日志服务提供了从各种云产品进行日志采集并深度处理的完善服务,TSDB支持从日志服务导入日志记录,并映射为时间点进行时序存储。
阿里云日志服务的具体细节可以参考。
用户通过在日志服务控制台创建TSDB导出任务,创建过程中可以配置将采集到的日志导出到哪一个TSDB实例,从什么时间导出,导出到TSDB中哪一个Topic等任务细节。
接来下按照步骤演示任务创建过程。
如下图所示,请参考参数信息填写任务配置项:
参数名 |
说明 |
---|---|
投递名称 | 任务名称(唯一) |
投递描述 | 任务描述 |
TSDB实例 | 当前Region中已购TSDB列表,选中需要导出数据的实例 |
度量名称 | 导出到哪一个TSDB度量(metric) |
AccessKeyID | 当前登录账号的AK ID(供TSDB访问) |
AccessKeySecret | 当前登录账号的AK Secret(供TSDB访问) |
时间点映射 | 将日志记录中的时间戳映射到TSDB时间戳,默认将日志发生时间作为TSDB时间戳(”${logTag:__time__}} , 该字段支持表达式替换。 |
字段映射 | 配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。>配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。 当只存在单个字段映射时,导出为TSDB单值模型(TSDB字段名称只能是value), 当存在多个字段映射时,导出为TSDB多值模型 |
标签映射 | 为导出的数据记录设置TSDB标签,第一个框填写标签名称,第二个框填写标签值,该配置项的标签名与标签值均支持表达式替换 |
投递时间 | 从什么时间开始数据投递(小于该时间范围的数据不会被投递) |
度量(metric)不存在时会自动创建
SLS日志导入到TSDB时,时间点映射决定了数据点的时间戳(Timestamp) 字段,默认情况下,value取值为SLS 日志记录的时间戳( ${logTag:time} )。由于SLS日志时间戳(time)精度只采集到秒,如果用户的日志再一秒内有可能出现多条,那么用户需要自己指定哪些SLS日志信息作为TSDB的目标时间戳。
针对时间点映射,用户可以使用表达式格式:( ${logTag:xx} 与 ${logColumn:xx} ) 做数值替换。表达式所引用的字段必须可以转换为数值(Epoch seonc/milli-second)。
注意: 表达式替换失败的情况下,时间戳会采用SLS日志记录时间( ${logTag:time} )。
任务配置过程中,对于时间点映射,标签映射 这两项配置,因为需要灵活引用上下文信息,这2项配置支持使用表达式来引用一些上下文信息, 表达式的语法为:
${ context:variable }
SLS的几个常见Tag(总是存在):
更信息的SLS上下文变量,可以参考 文档描述。
当所有参数填写完毕后,点击提交即可创建TSDB数据导出任务。
在文档使用中是否遇到以下问题
更多建议
匿名提交