文档

引擎类型

更新时间:

云原生多模数据库 Lindorm内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎,兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口,同时提供SQL查询、时序处理、文本检索分析等能力。

为应对动态变化的业务访问量,各引擎支持独立按需弹性扩展,宽表引擎和时序引擎均提供高并发吞吐能力。

选择引擎类型

不同引擎类型适用不同的场景,可按需选择一种或多种引擎,具体介绍,请参见下表。

引擎类型

兼容接口

适用场景

介绍

宽表引擎

兼容SQL、HBase API、Cassandra CQL、S3 API

元数据、订单、账单、画像、社交、feed流、日志、轨迹管理分析等场景。

面向海量半结构化、结构化数据设计的分布式宽表引擎,具备全局二级索引、多维检索、动态列、TTL等能力,支持千万级高并发吞吐,支持百PB级存储,吞吐性能是开源HBase的3-7倍,P99时延为开源HBase的1/10,支持冷热分离,压缩率比开源HBase提升一倍,综合存储成本为开源HBase的1/2。内置Ganos时空服务,面向各类空间/时空数据,支持海量历史轨迹查询分析场景。

时序引擎

提供HTTP API接口,并兼容OpenTSDB API

IoT、监控等场景存储、处理量测数据、设备运行数据等时序数据。

面向海量时序数据设计的分布式时序引擎,支持SQL查询。针对时序数据设计的压缩算法,提高压缩率。支持海量多维的时间线查询和时间线聚合,支持降采样。支持弹性扩展。

搜索引擎

兼容SQL、Solr接口

海量日志、文本、文档等数据,适用于日志、账单、画像等场景。

采用存储和计算分离架构设计的分布式搜索引擎,可无缝作为宽表、时序引擎的索引存储,加速检索查询,具备全文检索、聚合计算、复杂多维查询等能力,支持水平扩展、一写多读、跨机房容灾、TTL等,满足海量数据下的高效检索需求。

文件引擎

兼容HDFS接口

企业级数据湖存储、Hadoop平台存储底座、历史数据归档压缩等场景。

云原生HDFS。通信协议级兼容HDFS,可使用开源HDFS客户端直接访问,功能100%兼容HDFS标准,无缝接入所有HDFS开源生态与云计算生态。基于HDFS深度定制开发,具备低成本、EB级数据存储、分钟级存储弹性扩容、带宽水平弹性扩展等能力,适合构建基于HDFS的企业级低成本数据湖存储、通过存储计算分离降低总体成本。

计算引擎

兼容Spark接口

海量数据生产、交互式分析、计算学习和图计算等场景。

计算引擎是基于云原生架构提供的分布式计算服务,支持社区版计算模型以及编程接口,同时深度融合Lindorm存储引擎特性,利用底层数据存储特征以及索引能力,高效地完成分布式作业任务。

流引擎

兼容SQL、Kafka接口

IoT数据处理、应用日志处理、物流时效分析、出行数据处理、轨迹实时分析等场景。

流引擎是面向流式数据处理的引擎,提供了流式数据的存储和轻计算功能,帮助您轻松实现将流式数据存储至云原生多模数据库 Lindorm,满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务,可以实现基于流式数据的实时轨迹分析功能,如电子围栏、区域统计等。

选择节点规格和数量

Lindorm支持节点的水平扩展。当节点出现负载过高、延迟增大或不稳定等问题时,可以通过增加节点的数量来解决。但仅仅增加节点数量无法解决低规格节点的单机热点问题,选择更高的规格则可以避免热点问题的出现,即节点的规格决定了单机抗热点的能力。同时,节点的规格也会影响业务的稳定性,当面对热点流量或即时请求量过大的情况时,节点规格低可能会导致负载过高或OOM。

因此,建议您根据业务事先做好评估,选择合适的节点规格。如果您需要升级Lindorm实例的节点规格,可以通过云原生多模数据库 Lindorm控制台升级规格,具体操作,请参见变更实例规格。如果您无法评估需要升级的规格或在升级过程中需要帮助,请联系Lindorm技术支持(钉钉号:s0s3eg3)升级。

宽表引擎

宽表引擎支持的节点规格范围为4核8 GB至32核256 GB,节点数量可水平扩展。您可以根据实际业务需求评估业务请求量(行/秒)及分片数量,选择合适的引擎规格。

说明

商品类型为Lindorm时,宽表引擎可选择的最小规格为4核 16GB。

选择建议如下:

  • 单节点请求量小于1000,单节点承载的分片(Region)数目小于500,可以使用4核16 GB规格。

  • 单节点请求量小于20000,单节点承载的分片数目小于1000,推荐使用8核32 GB以上规格。

  • 单节点请求量大于20000,单节点承载的分片数目大于1000,推荐使用16核64 GB以上规格。

    重要

    请求量和分片数量的多少并不是节点规格与数量选择的唯一标准。

    • 如果您的业务情况复杂,选择上述建议规格可能会导致业务不稳定和延迟增大。因此当您的业务中,可能存在以下几种情况时,请选择大于上述建议规格的节点规格:

      • 请求的一行数据量较大,达到几KB,甚至数MB。

      • Scan请求中存在复杂的过滤器。

      • 请求的缓存命中率很低,每个请求都需要请求磁盘。

      • 实例中的表非常多。

    • 如果是在线型业务,请选择大内存规格来增加缓存命中率以提高性能。

    • 如果需要运行MR或Spark等离线大负载任务,或TPS或QPS非常高,建议选择大CPU规格。

    • CPU使用率超过70%时建议您选择扩容。

时序引擎

时序引擎支持的节点规格范围为4核8 GB至32核256 GB。建议您根据实际业务情况评估TPS(测量点数/秒),选择合适的节点规格和数量。

说明

商品类型为Lindorm时,时序引擎可选择的最小规格为4核 16GB。

选择建议如下:

  • TPS小于190万,可以选择3节点,4核16 GB规格。

  • TPS小于390万,可以选择3节点,8核32 GB规格。

  • TPS小于780万,可以选择3节点,16核64 GB规格。

  • TPS小于1100万,可以选择3节点,32核128 GB规格。

说明

以上建议是以发挥数据最佳性能为前提。实际承载情况可能会受业务模型的类型、写入Batch的大小和并发数的大小影响。详细介绍,请参见写入测试结果查询测试结果

文件引擎

文件引擎节点负责承担读写带宽、管理Block数据块,提供HDFS通信协议支持。您可以参考以下两个维度来确定选择文件引擎的节点数量:

  • 数据量维度:每个文件引擎节点可支撑10 TB~50 TB存储容量。

  • 带宽维度:每个文件引擎节点可支撑100 MB/s~200 MB/s数据传输带宽。

  • 本页导读 (1)
文档反馈