物联网平台提供云产品流转服务,支持通过SQL脚本处理设备Topic数据,并将数据转发至其他Topic或其他阿里云产品进行存储或处理。

什么是云产品流转

设备基于Topic与物联网平台进行通信时,您可以在数据流转中,编写SQL对Topic中的数据进行处理,并配置转发规则将处理后的数据转发到其他设备Topic或阿里云其他服务。

数据目的说明相关文档
Topic将数据转发到另一个设备的Topic中,实现设备间的M2M通信数据转发到另一Topic
AMQP消费组通过AMQP服务端订阅消费组,将设备消息流转到您的业务服务器上。
RDS将设备数据转发到云产品中进行存储。数据转发到云数据库RDS
Tablestore数据转发到表格存储(Tablestore)
TSDB数据转发到时序数据库(TSDB)
DataHub将设备数据转发到DataHub中,然后使用实时计算进行流计算;使用MaxCompute进行大规模离线计算。数据转发到DataHub
RocketMQ将设备数据转发到消息队列RocketMQ、消息服务MNS实现高可靠消费数据。数据转发到消息队列RocketMQ
MNS数据转发到消息服务(MNS)
函数计算将设备数据转发到函数计算中进行事件计算。数据转发到函数计算(FC)

数据流转流程

使用云产品流转功能流转数据,您无需购买服务器部署分布式架构,即可实现采集、计算、存储的全栈服务。

数据流转

使用说明

  • 使用物联网平台提供的服务端订阅和云产品流转服务,均可实现设备数据流转。您可根据实际业务场景,选择合适的流转方案。具体说明,请参见数据流转方案对比
  • 使用云产品流转功能将设备数据转发至其他阿里云产品时,需确认目的云产品已经在该地域上线,并且支持相应格式数据的转发。具体说明,请参见各地域功能说明

限制说明

限制项描述限制
规则数量一个实例下最多可以设置1,000条规则。1,000
流转目标数量一条规则中转发数据的操作不能超过10个。10
规则引擎处理消息量
  • 公共实例:云产品流转为一个阿里云账号提供1,000 TPS的数据处理能力。RAM用户共享阿里云账号配额。
  • 企业版实例:一个实例下规则引擎处理消息量,由购买的规则引擎TPS规格决定。

    购买企业版实例说明,请参见购买企业版实例

一条消息处理后可以写入多个云产品,写入云产品限制请参见下一条:写入云产品消息量。

对于被限流的消息,系统会自动重试处理,多次重试失败的数据会被丢弃。

写入云产品消息量
  • 公共实例:在目标云产品实例性能足够的情况下,云产品流转为一个阿里云账号提供2,000 TPS的数据转发能力。
  • 企业版实例:一个实例下写入云产品消息量,由购买的规则引擎TPS规格决定。

    购买企业版实例说明,请参见购买企业版实例

RAM用户共享阿里云账号配额。

如果请求量超出该限制,或目标云产品写入耗时过高导致同一时刻写入请求量超出40个,数据转发会被限流。

转发到RocketMQ、RDS、TSDB等类型的云产品时,若云产品资源变化导致目的云产品无法访问,系统会停止执行转发,并显示规则异常信息;其他异常情况,系统会间隔1秒、3秒、10秒进行3次重试,3次重试均失败后,消息会被丢弃,同时会向您指定的转发错误数据的目标云产品发送一条错误记录。

流转目标要求数据转发依赖目标云产品,需确保目标云产品实例正常。目标云产品的实例宕机、欠费、参数错误(如授权变更、值非法)、配置错误等异常状况会导致消息流转失败。
消息去重数据流转时,为确保消息送达,同一条消息可能重复发送,直到客户端返回ACK或消息过期。同一条消息的消息ID相同,您可根据消息ID去重。

使用指南

  • 设置数据流转规则:如何设置一条数据转发规则。
  • SQL表达式:规则中SQL表达式的写法详解。
  • 函数列表:规则中SQL表达式支持的函数列表。
  • 数据流转过程:进行数据流转的过程和各阶段的数据格式。
  • 数据格式:基础通信Topic、物模型通信Topic消息经物模型解析后的数据格式。数据流转规则中,SQL字段需按照解析后的数据格式编写。

相关文档

云产品流转(新版)