创建导出任务

背景信息

阿里云日志服务提供了从各种云产品进行日志采集并深度处理的完善服务，TSDB支持从日志服务导入日志记录，并映射为时间点进行时序存储。

前提条件

• 用户需要同时购买阿里云日志服务和TSDB服务。

• 日志服务和TSDB必须在同一个区域，目前暂不支持跨区域数据交互。

操作步骤

用户通过在阿里云日志服务控制台创建TSDB导出任务，创建过程中可以配置将采集到的日志导出到哪一个TSDB实例，从什么时间导出，导出到TSDB中哪一个Topic等任务细节。

1. 登录日志服务控制台，选择需要导出的Project和日志库（logStore)。

2. 点击展开日志库下拉列表，选中导出 —> TSDB —> “+”

3. 点击”+”按钮后，将会跳转到单独的导出任务配置页，请在配置页继续完成导出任务的创建。

4. 如果日志库尚未做任何数据加工，日志服务会提示是否先完成日志的数据加工再进行投递，如果日志记录很规范，也可以选择不经加工直接投递到TSDB。

5. 如下图所示，请参考参数信息填写任务配置项：

   参数名	说明
   投递名称	任务名称（唯一）
   投递描述	任务描述
   TSDB实例	当前Region中已购TSDB列表，选中需要导出数据的实例
   度量名称	导出到哪一个TSDB度量（metric）
   AccessKeyID	当前登录账号的AK ID（供TSDB访问）
   AccessKeySecret	当前登录账号的AK Secret（供TSDB访问）
   时间点映射	将日志记录中的时间戳映射到TSDB时间戳，默认将日志发生时间作为TSDB时间戳（”${logTag:__time__}} , 该字段支持表达式替换。
   字段映射	配置哪些日志字段应设为TSDB字段，第一个框填写日志字段名称，第二个框填写TSDB字段名称。>配置哪些日志字段应设为TSDB字段，第一个框填写日志字段名称，第二个框填写TSDB字段名称。 当只存在单个字段映射时，导出为TSDB单值模型（TSDB字段名称只能是value), 当存在多个字段映射时，导出为TSDB多值模型
   标签映射	为导出的数据记录设置TSDB标签，第一个框填写标签名称，第二个框填写标签值，该配置项的标签名与标签值均支持表达式替换
   投递时间	从什么时间开始数据投递（小于该时间范围的数据不会被投递）

   说明

   度量（metric）不存在时会自动创建 SLS日志导入到TSDB时，时间点映射决定了数据点的时间戳(Timestamp) 字段，默认情况下，value取值为SLS 日志记录的时间戳( ${logTag:time} )。由于SLS日志时间戳(time)精度只采集到秒，如果用户的日志再一秒内有可能出现多条，那么用户需要自己指定哪些SLS日志信息作为TSDB的目标时间戳。 针对时间点映射，用户可以使用表达式格式:( ${logTag:xx} 与 ${logColumn:xx} ) 做数值替换。表达式所引用的字段必须可以转换为数值(Epoch seonc/milli-second)。 注意: 表达式替换失败的情况下，时间戳会采用SLS日志记录时间( ${logTag:time} )。

   表达式引用

   任务配置过程中，对于时间点映射，标签映射 这两项配置，因为需要灵活引用上下文信息，这2项配置支持使用表达式来引用一些上下文信息， 表达式的语法为：

   说明

   ${ context:variable }

   • 表达式中logColumn前缀表示引用原始sls log中所属column的值作为映射值。

   • 表达式中logTag前缀表示引用原始sls log中所属tag的值作为映射值。

   SLS的几个常见Tag(总是存在)：

   • __topic__: 整个LogGroup(一条或多条日志)的业务标记（表达式引用格式 ${logTag:__topic__} )。

   • __source__: 产生该条日志记录的机器IP地址（表达式引用格式 ${logTag:__source__} ）。

   • __time__: 日志记录的时间戳(秒级) （表达式引用格式 ${logTag:__time__} ）。

任务提交

当所有参数填写完毕后，点击提交即可创建TSDB数据导出任务。

注意事项

• TSDB导出任务再创建完成后立即启动，如用户需要暂停/查看服务状态，可以在导出任务创建完毕后，在SLS控制面板点击任务名称，进入任务管控面板进行操作。

• 任务创建完毕后，如果需要修改任务配置，请参考【修改导出任务】章节。