Lindorm的Rowkey设计在数据分区和数据查询中很重要,本节介绍设计Rowkey前需要考虑的一些问题以及设计示例。

问题考虑

  • 问题一:Rowkey是唯一的吗?

    相同的Rowkey在Lindorm中认为是同一条数据的多个版本,查询时默认返回最新版本的数据,所以通常Rowkey都需要保证唯一,除非用到多版本特性。

    最佳设计示例:Rowkey相当于数据库的主键。Rowkey表示一条记录。Rowkey可以是一个字段也可以是多个字段接起来。Rowkey为[userid]表示每个用户只有一条记录, Rowkey为[userid][orderid]表示每个用户有多条记录。

  • 问题二:满足哪种查询场景?
    Rowkey的设计限制了数据的查询方式,Lindorm有两种查询方式。
    • 根据完整的Rowkey查询(get方式),比如SELECT * FROM table WHERE Rowkey = ‘abcde’
      说明 get方式需要知道完整的Rowkey,即组成Rowkey所有字段的值都是确定的。
    • 根据Rowkey的范围查询(scan方式),比如SELECT * FROM table WHERE ‘abc’ < Rowkey <’abcx’
      说明 scan方式需要知道Rowkey左边的值,比如您使用英文字典查询pre开头的所有单词,也可以查询prefi开头的所有单词,不能查询中间或结尾为prefi的单词。
    最佳设计示例:在有限的查询方式下如何实现复杂查询?以下方法可以帮您实现。
    • 再新建一张表作为索引表。
    • 使用Filter在服务端过滤不需要的数据。
    • 使用二级索引。
    • 使用反向scan方法实现倒序(将新数据排在前面),scan.setReverse(true)
      说明 反向scan的性能比正常scan性能差,如果大部分是倒序场景可以体现在Rowkey设计上,比如[hostname][log-event][timestamp] => [hostname][log-event][Long.MAX_VALUE – timestamp]
  • 问题三:数据足够分散,会存在堆积的热点现象吗?

    散列的目的是将数据分散到不同的分区,不至于产生热点使某一台服务器终止,其他服务器空闲,充分发挥分布式和并发的优势。

    最佳设计示例:
    • 设计md5散列算法:[userId][orderid] => [md5(userid).subStr(0,4)][userId][orderid]
    • 设计反转:[userId][orderid] => [reverse(userid)][orderid]
    • 设计取模:[timestamp][hostname][log-event] => [bucket][timestamp][hostname][log-event]; long bucket = timestamp % numBuckets
    • 增加随机数:[userId][orderid] => [userId][orderid][random(100)]
  • 问题四:Rowkey可以再短点吗?

    短的Rowkey可以减少数据量,提高数据查询和数据写入效率。

    最佳设计示例:
    • 使用Long或Int代替String,比如'2015122410' => Long(2015122410)
    • 使用编码代替名称,比如’淘宝‘ => tb
  • 问题五:使用scan方式会查询出不需要的数据吗?

    会的。场景举例:table1的Rowkey为colume1+ colume2+ colume3,如果您需要查询colume1= host1的所有数据,使用scan 'table1',{startkey=> 'host1',endkey=> 'host2'}语句。如果有一条记录为colume1=host12,那么此记录也会查询出来。

    最佳设计示例:
    • 设计字段定长,[colume1][colume2] => [rpad(colume1,'x',20)][colume2]
    • 添加分隔符,[colume1][colume2] => [colume1][_][colume2]

常见设计实例

  • 日志类、时间序列数据。列举出三个场景设计Rowkey。
    • 查询某台机器某个指标某段时间内的数据,Rowkey设计为[hostname][log-event][timestamp]
    • 查询某台机器某个指标最新的几条数据,Rowkey设计为timestamp = Long.MAX_VALUE – timestamp; [hostname][log-event][timestamp]
    • 查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况,Rowkey设计为long bucket = timestamp % numBuckets; [bucket][timestamp][hostname][log-event]
  • 交易类数据。列举出四个场景设计Rowkey。
    • 查询某个卖家某段时间内的交易记录,Rowkey设计为[seller id][timestmap][order number]
    • 查询某个买家某段时间内的交易记录,Rowkey设计为[buyer id][timestmap][order number]
    • 根据订单号查询,Rowkey设计为[order number]
    • 查询中同时满足三张表,一张买家维度表Rowkey设计为[buyer id][timestmap][order number]。一张卖家维度表Rowkey设计为[seller id][timestmap][order number]。一张订单索引表Rowkey设计为[order number]