使用函数计算可以对表格存储增量数据进行实时计算。
背景信息
Tablestore Stream是用于获取Tablestore表中增量数据的一个数据通道,通过创建Tablestore触发器,能够实现Stream和函数计算的自动对接,让计算函数中自定义的程序逻辑自动处理Tablestore表中发生的数据修改。
使用场景
如下图所示,使用函数计算可以实现如下任务。
- 数据同步:同步表格存储中的实时数据到数据缓存、搜索引擎或者其他数据库实例中。
- 数据归档:增量归档表格存储中的数据到OSS等做冷备份。
- 事件驱动:利用触发器触发函数调用IOT套件、云应用API或者做消息通知等。

配置Tablestore触发器
通过控制台创建Tablestore触发器来处理Tablestore数据表的实时数据流。
数据处理
- 数据格式
Tablestore触发器使用CBOR格式对增量数据进行编码构成函数计算的Event。增量数据的具体数据格式如下:
{ "Version": "string", "Records": [ { "Type": "string", "Info": { "Timestamp": int64 }, "PrimaryKey": [ { "ColumnName": "string", "Value": formated_value } ], "Columns": [ { "Type": "string", "ColumnName": "string", "Value": formated_value, "Timestamp": int64 } ] } ] }
- 成员定义
成员定义请参见下表。
参数 说明 Version payload版本号,目前为Sync-v1。类型为string。 Records 数据表中的增量数据行数组。包含如下内部成员。 - Type:数据行类型,包含PutRow、UpdateRow和DeleteRow。类型为string。
- Info:包含Timestamp内部成员。Timestamp表示该行的最后修改UTC时间。类型为int64。
PrimaryKey 主键列数组。包含如下内部成员。 - ColumnName:主键列名称。类型为string。
- Value:主键列内容。类型为formated_value,支持integer、string和blob。
Colunms 属性列数组。包括如下内部成员。 - Type:属性列类型,包含Put、DeleteOneVersion和DeleteAllVersions。类型为string。
- ColumnName:属性列名称。类型为string。
- Value:属性列内容。类型为formated_value,支持integer、boolean、double、string和blob。
- Timestamp:属性列最后修改UTC时间。类型为int64。
- 数据示例
{ "Version": "Sync-v1", "Records": [ { "Type": "PutRow", "Info": { "Timestamp": 1506416585740836 }, "PrimaryKey": [ { "ColumnName": "pk_0", "Value": 1506416585881590900 }, { "ColumnName": "pk_1", "Value": "2017-09-26 17:03:05.8815909 +0800 CST" }, { "ColumnName": "pk_2", "Value": 1506416585741000 } ], "Columns": [ { "Type": "Put", "ColumnName": "attr_0", "Value": "hello_table_store", "Timestamp": 1506416585741 }, { "Type": "Put", "ColumnName": "attr_1", "Value": 1506416585881590900, "Timestamp": 1506416585741 } ] } ] }
在线调试
函数计算支持函数的在线调试功能,您可以构建触发的Event,并测试代码逻辑是否符合期望。
由于Tablestore触发函数服务的Event是CBOR格式,该数据格式是一种类似JSON的二进制格式,可以按照如下方法进行在线调试:
在文档使用中是否遇到以下问题
更多建议
匿名提交