HDFS

更新时间: 2024-01-22 10:59:51

如果您的数据存储在HDFS中,需先确认HDFS源访问正常,测试闪电立方与HDFS源端之间网络连通性,并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。

前提条件

  • 源端HDFS已通过网线直连方式或交换机方式连接到闪电立方设备的网口或光口上。

  • 已确认网线、光纤线和光模块连接正常,端口连接指示灯正常。

  • 目前仅支持无鉴权或有kerberos鉴权的HDFS源迁移。

步骤一:配置闪电立方业务IP地址

登录闪电立方。具体操作,请参见安装硬件

步骤二:HDFS集群操作

目前HDFS源仅支持无鉴权(通过用户名和密码登录)或Kerberos鉴权,请根据实际情况选择操作步骤。

无鉴权

  1. 确认对HDFS集群的访问是否正常。

    1. 登录HDFS集群,确认HDFS集群的主节点IP地址,例如192.168.24.247

    2. 确认HDFS服务的端口,例如8020

      在Hadoop的core-site.xml配置文件中,fs.defaultFS参数为HDFS服务的端口号。

    3. 在集群中任意一台机器上,测试HDFS访问是否正常,执行如下命令,例如hadoop fs -ls hdfs://192.168.24.247:8020

      hadoop fs -ls hdfs://HDFS主节点IP:HDFS服务端口

      说明
      • 如果返回HDFS中的目录信息,说明访问正常。

      • 如果返回信息为拒绝连接,则可能是主机群IP或端口有误,请重新确认后重试。

  2. 测试闪电立方与HDFS源的连通性。

    1. 登录闪电立方机器,从闪电立方机器ping  HDFS集群主节点IP,确认是否能连通,例如ping 192.168.24.247

    2. 从闪电立方机器telnet  HDFS集群主节点IP  HDFS服务端口,确认是否能连通,例如telnet  192.168.24.247 8020

    3. 如上测试均返回正常时,确认闪电立方到HDSF源端连通性正常。

有Kerberos鉴权

  1. 确认Kerberos鉴权是否通过。

    1. 执行命令kinit PrincipcalName -k -t keytab路径

    2. 执行命令hdfs dfs -ls

      如果可以正确列出目录,则表示权限验证通过。

  2. 确认对HDFS集群的访问是否正常。

    1. 登录HDFS集群,确认HDFS集群的主节点IP地址,例如192.168.24.247

    2. 确认HDFS服务的端口,例如8020

      在Hadoop的core-site.xml配置文件中,fs.defaultFS参数即为HDFS服务的端口号。

    3. 选择集群中任意一台机器操作,测试HDFS访问是否正常。执行如下命令,例如hadoop fs -ls hdfs://192.168.24.247:8020

      hadoop fs -ls hdfs://HDFS主节点IP:HDFS服务端口

      说明
      • 如果返回HDFS中的目录信息,说明访问正常。

      • 如果返回信息为拒绝连接,则可能是主机群IP或端口有误,请重新确认后重试。

  3. 测试闪电立方与HDFS源的连通性。

    1. 登录闪电立方机器,从闪电立方机器ping  HDFS集群主节点IP,确认是否能连通,例如ping 192.168.24.247

    2. 从闪电立方机器telnet  HDFS集群主节点IP  HDFS服务端口,确认是否能连通,例如telnet  192.168.24.247 8020

    3. 如上测试均返回正常时,确认闪电立方到HDSF源端连通性正常。

  4. 拷贝指定文件至闪电立方。

    1. 在HDFS集群上找到core-site.xmlhdfs-site.xmlkrb5.confkeytab文件,并下载这4个文件。文件的查找方法如下:

      • 执行find / -name core-site.xml ,找到core-site.xml文件的位置。

      • 执行find / -name hdfs-site.xml ,找到hdfs-site.xml文件的位置。

      • 执行find / -name krb5.conf ,找到krb5.conf文件的位置。

      • 执行find / -name keytab ,找到keytab文件的位置。

    2. 将下载成功的4个文件拷贝到闪电立方的/mnt/cube/software/hdfs/目录下。

    3. 查看krb5.conf文件中,kdc参数配置的是Kerberos服务器域名还是Kerberos服务器的IP。如果是Kerberos服务器域名,则需要在闪电立方上配置hosts,配置方法如下:

      执行vim /etc/hosts,增加一行内容:Kerberos服务器的IP Kerberos服务器域名

阿里云首页 闪电立方 相关技术圈