全部产品
云市场

HBase SQL(Phoenix) FAQ

更新时间:2019-08-08 20:18:15

1. ali-phoenix 最新版本在maven中央仓库发布了哪些jar包?

  • ali-phoenix 4.x发布包如下:
GroupId ArtifactId Latest Version
com.aliyun.phoenix ali-phoenix 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-hive 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-spark 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-pherf 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-queryserver 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-queryserver-client 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-pig 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-flume 4.12.0-AliHBase-1.1-0.9
com.aliyun.phoenix ali-phoenix-core 4.12.0-AliHBase-1.1-0.9
  • ali-phoenix 5.x发布包如下:
GroupId ArtifactId Latest Version
com.aliyun.phoenix ali-phoenix-queryserver-client 5.1.0-HBase-2.0
com.aliyun.phoenix ali-phoenix-shaded-thin-client 5.1.0-HBase-2.0

避免轻客户端中包与业务三方包冲突,推荐使用轻客户端shade包。

2. 操作ali-phoenix需要掌握哪些语法?

如果使用JDBC访问需要了解相应的phoenix语法,如果使用sqlline.py访问还需要了解SQLLine语法。具体可以参考以下文档:

3. ali-phoenix 是否支持访问开安全的云HBASE?

此版本暂时不支持

4. ali-phoenix JDBC URL格式是什么样的?

在启用query-server的时候需要使用轻客户端,否则使用重客户端。ali-phoenix不支持以keytab的方式访问云HBASE,所以此处和apache phoenix的JDBC格式有所差异

  • 重客户端DRIVE

    URL语法

    1. jdbc:phoenix:[[ZK_HOST1:port, ZK_HOST2:port, ZK_HOST3:port | comma-separated ZooKeeper Quorum [:port] [:hbase root znode] ]

    简单URL示例

    1. jdbc:phoenix:localhost
    2. jdbc:phoenix:localhost:123:/hbase
    3. jdbc:phoenix:v1,v2,v3:123:/hbase
    4. jdbc:phoenix:v1:2181,v2:2181,v3:2181:/hbase
    5. jdbc:phoenix:v1:2181,v2:2181,v3:2181
  • 轻客户端DRIVE

    URL语法

    1. jdbc:phoenix:thin:[key=value[;key=value...]]

    简单URL示例

    1. jdbc:phoenix:thin:url=http://localhost:8765;serialization=PROTOBUF

5. 是否支持QueryServer?

HBase1.x版本使用Phoenix4.x重客户端模式,需要用户自行搭建QueryServer服务。

HBase2.0版本增加HBase SQL服务,默认开启QueryServer。

6. 是否支持Tracing Web Application?

当前云HBASE上的ali-phoenix此不支持,此功能正在开发中

7. 怎么通过MR对phoenix表bulkload数据或者构建索引?

因目前云hbase没有开通hdfs端口。所以暂时不支持通过mr构建索引或者数据入库。如有强需求可联系我们。

8.构建同步的二级索引超时怎么办?

HBase1.0上Phoenix4.x版本,需要在客户加上如下配置,并重启客户端。

  1. <property>
  2. <name>hbase.rpc.timeout</name>
  3. <value>60000000</value>
  4. </property>
  5. <property>
  6. <name>hbase.client.scanner.timeout.period</name>
  7. <value>60000000</value>
  8. </property>
  9. <property>
  10. <name>phoenix.query.timeoutMs</name>
  11. <value>60000000</value>
  12. </property>

HBase2.0上Phoenix5.x版本,可在控制台参数管理中修改上述参数,并重启HBase SQL服务,注意不需要重启HBase,仅重启HBase SQL服务(Phoenix)即可。

9.开通Namespace Mapping

4.x开通步骤:

1). 在客户端增加以下配置, 2).找云 HBase 答疑开通 Server 端参数, 3). 重启 HBase 集群。

  1. <configuration>
  2. <property>
  3. <name>phoenix.schema.isNamespaceMappingEnabled</name>
  4. <value>true</value>
  5. </property>
  6. <property>
  7. <name>phoenix.schema.mapSystemTablesToNamespace</name>
  8. <value>true</value>
  9. </property>
  10. </configuration>

5.x开通步骤:

1). 控制台 -> 参数配置,配置phoenix.schema.isNamespaceMappingEnabledphoenix.schema.mapSystemTablesToNamespace 为 true。 2). 重启 HBase 集群。 3). 重启 SQL 服务。

注意: 这里需要配置两组相同的参数,参数描述是不相同的,一组是 query server 的,一组是 HBase server 端的,都需要设置。

10.是否支持连接池

最新版本的4.12.0.X版本支持,具体参考PhoenixConnectionPool.java

11. 二级索引应该使用local Index还是global Index?

实现上,一个global index表对应着一个hbase 表,local index是在主表上新增一列存储索引数据。

适用场景上,global index 适用于多读的场景,但存在同步索引时带来网络开销较大的问题。而local由于和原数据存储在一张表中同步索引数据会相对快一点。

虽然local index也有一定适用场景,但仍然推荐使用global index, 其原因有以下几点:

  1. 当前版本的phoneix的local index的实现相对global index不太完善,有许多不足。使用存在一定的风险。
  2. local index功能一旦改进后,升级流程相对复杂。
  3. 大多数用户使用二级索引是为了分析,而在大数据量下使用glboal index会有更多的优势。

LOCAL INDEX功能已经被禁止!

12.索引表最多可以创建多少个?

建议不超过10个

13. slat bucket 如何计算?

可以参考下列方式计算,其中 N 为 Core/RS 节点数量

  • 单节点内存 8G: 2*N
  • 单节点内存 16G: 3*N
  • 单节点内存 32G: 4*N
  • 单节点内存 64G: 5*N
  • 单节点内存 128G: 6*N

14.Phoenix默认时区是什么?

默认GMT,在中国需要转换为UTC+8。

15.执行创建索引时间太长能否断开开户端链接?

不能断开客户端链接。执行create index主要有两个步骤,第一步在server端同步源表数据到索引表, 第二步在客户端发起请求修改索引表状态设置为active。其中第一步一般是是客户端发起请求在server端完成后。

16.通过Phoenix映射的HBase表创建的索引表怎样同步索引表?

直接通过HBase API写入的数据不能同步到索引表中,只有通过Phoenix接口写入的数据才会被同步到索引表中。

17.多大数据量推荐使用MapReduce构建索引?

数据量超过1亿行,推荐使用MapReudce构建索引。

18.创建同步索引表,同步索引数据的速度怎么样?

一般情况下1000W数据创建索引需要5-20min, 具体情况视集群配置和资源使用情况而定。

19.创建索引由于时间太长,客户端断开了链接怎么办?

一般情况下当前索引表的状态是building状态的(可以在sqlline中使用 !table命令查看),只有当索引表状态变为active才算真正完成了索引构建。此时有两种解决方法:第一、通过alter index命令rebuild索引。第二、删除building状态的索引表,配置更大的客户端超时时间,重新创建索引。

20.关系型数据库怎么导入云HBASE的phoenix表中?

通过datax(https://github.com/alibaba/DataX)或者CDP, Phoenix4.x可利用hbase11xsqlwriter插件写入到Phoenix表中,其中zk的zookeeper.znode.parent配置值为/hbase。Phoenix5.x可使用hbase20xsqlwriter插件写入到Phoenix表中.

21. 查询时发生遇到ERROR 599(42912): Default enable Force index, please set phoenix.force.index=false to disable it...., 应该怎么处理?

为了避免查询扫全表,会在SQL编译阶段,检查查询条件是否有主键或者索引列作为过滤条件,如果没有会产生此异常。如果查询确实需要非主键或非索引列作为过滤条件的列,phoenix4.x版本可以在客户端的hbase-site.xml文件中配置phoenix.force.indexfalse,重新打开客户端,即可生效。Phoenix5.x在控制台参数管理中修改phoenix.force.indexfalse,重启HBase SQL服务即可。

22. 通过springboot使用durid连接池报java.sql.SQLException: java.lang.IllegalArgumentException: Connection is null or closed.

由于Phoenix内部会缓存链接,上层再使用一层连接池时,会出现部分链接被关闭的情况,所以目前不推荐使用此类方式。你可以尝试当前版本自带的连接池,参考问题10。

23. Phoenix是否支持映射已经存在的HBase表?

支持。可以通过Phoenix创建视图或者表映射已经存在的Hbase表,由于column family和列名是大小写敏感的,必须一一对应才能映射成功。

24. 使用python客户端连接QueryServer时,连接闲置一段时间后再进行读写时报错phoenixdb.errors.InternalError: ('', None, None, None)

由于开源python客户端未实现连接空闲超时重建机制,通过SLB负载均衡连接超时后再次请求发送到其他QueryServer节点导致。

解决办法:

  1. 下载阿里phoenix-python客户端:

    phoenix-python-client下载

  2. 如果已安装phoenix-python驱动,需要进行删除

    rm -rf /usr/lib/python${version}/site-packages/phoenixdb*

  3. 解压后在phoenixdb目录安装驱动

    python setup.py install