访问HBase HDFS

在一些场景下，比如需要bulkload导入数据，需要打开HBase集群的HDFS端口。

  • 注意：hdfs端口打开后，因误操作hdfs导致的数据丢失等问题客户自身承担，客户需要对hdfs的操作比较了解

开通HDFS端口

  • 首先联系云HBase答疑(钉钉号)，开通HDFS（ 由于hdfs的开放可能造成用户的恶意攻击，引起集群不稳定甚至造成破坏。因此此功能暂时不直接开放给用户，当用户特别需要的情况下，我们通过云HBase答疑后台开通，随后客户使用完成，再关闭）

验证

  • 检查端口是否可以正常使用通过一个hdfs client访问云hbase上的hdfs（目标集群）
  • 创建一个hadoop客户端配置目录conf(如果使用客户端已存在这个目录则不需要另行创建)

  • 添加以下两个hdfs配置到hadoop客户端conf目录({hbase-header-1-host}和{hbase-header-1-host}可以咨询 云HBase答疑

    • core-site.xml
      1. <configuration>
      2. <property>
      3. <name>fs.defaultFS</name>
      4. <value>hdfs://hbase-cluster</value>
      5. </property>
      6. </configuration>
    • hdfs-site.xml
      1. <configuration>
      2. <property>
      3.     <name>dfs.nameservices</name>
      4.     <value>hbase-cluster</value>
      5. </property>
      6. <property>
      7. <name>dfs.client.failover.proxy.provider.hbase-cluster</name>
      8. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      9. </property>
      10. <property>
      11. <name>dfs.ha.automatic-failover.enabled.hbase-cluster</name>
      12. <value>true</value>
      13. </property>
      14. <property>
      15. <name>dfs.namenode.http-address.hbase-cluster.nn1</name>
      16. <value>{hbase-header-1-host}:50070</value>
      17. </property>
      18. <property>
      19. <name>dfs.namenode.http-address.hbase-cluster.nn2</name>
      20. <value>{hbase-header-2-host}:50070</value>
      21. </property>
      22. <property>
      23.     <name>dfs.ha.namenodes.hbase-cluster</name>
      24.     <value>nn1,nn2</value>
      25. </property>
      26. <property>
      27.     <name>dfs.namenode.rpc-address.hbase-cluster.nn1</name>
      28.     <value>{hbase-header-1-host}:8020</value>
      29. </property>
      30. <property>
      31.     <name>dfs.namenode.rpc-address.hbase-cluster.nn2</name>
      32.     <value>{hbase-header-2-host}:8020</value>
      33. </property>
      34. </configuration>

  • 添加conf到hadoop 客户端classpath中

  • 读写验证hdfs端口能否正常访问
    1. echo "hdfs port test"  >/tmp/test
    2. hadoop dfs -put /tmp/test  /
    3. hadoop dfs -cat /test