全部产品
云市场

资源管理用户手册

更新时间:2019-09-06 10:29:38

目前用户的jar包、python等资源文件使用HttpFs来进行管理。目前可以使用命令行或者Restful API来管理这些资源。

HttpFs服务端口的获取

从分析集群的“集群详情”页面获取HttpFs的连接串:

为了使用合理,建议HttpFS的用户名为:resource;resource上传的根目录为/resourcesdir/,该目录后面可以创建子目录

  • 注意:rename和append暂时不支持

命令行的方式

使用HdfsCLI连接HttpFs服务通过命令行方式管理资源,具体操作如下:

  • 安装command
  1. pip install hdfs
  • 配置客户端:配置~/.hdfscli.cfg文件如下内容,其中spark是一个别名,可按照实际情况配置
  1. [global]
  2. default.alias = dev
  3. [dev.alias]
  4. url = http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000
  5. user = resource

后续进入hdfscli的command line进行相关的操作

  • 创建目录
  1. [root@xxx ~]# hdfscli
  2. >>> CLIENT.makedirs('/resourcesdir/')
  • 上传文件或者目录
  1. 进入hdfscli的交互式命令行,使用CLIENT.upload()上传本地文件或者目录到HTTPFs的目录
  2. 下面分别上传本地的文件'./spark-examples-0.0.1-SNAPSHOT.jar'、目录'./files'HTTPFs的目录/resourcesdir/
  3. [root@xxx jars]# hdfscli
  4. >>> CLIENT.upload('/resourcesdir/','./spark-examples-0.0.1-SNAPSHOT.jar')
  5. '/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar'
  6. >>> CLIENT.upload('/resourcesdir/','./files')
  7. '/resourcesdir/files'
  8. >>> CLIENT.list('/resourcesdir/')
  9. [u'files', u'spark-examples-0.0.1-SNAPSHOT.jar']
  • 下载文件或者目录:
  1. 进入hdfscli的交互式命令行,使用CLIENT.download()下载HTTPFs的文件到本地
  2. 下面分别下载文件'/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar'、目录'/resourcesdir/files'到本地的./download/目录
  3. [root@xxx jars]# hdfscli
  4. >>> CLIENT.download('/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar','./download/')
  5. '/root/jars/download/spark-examples-0.0.1-SNAPSHOT.jar'
  6. >>> CLIENT.download('/resourcesdir/files','./download/')
  7. '/root/jars/download/files'
  • 查看文件:
  1. 进入hdfscli的交互式命令行,使用CLIENT.list()查看对应目录下文件
  2. [root@xxx ~]# hdfscli
  3. >>> CLIENT.list('/resourcesdir/')
  4. [u'pppp', u'qqq']
  • 删除文件:
  1. 进入hdfscli的交互式命令行,使用CLIENT.list()查看对应目录下文件
  2. [root@xxx ~]# hdfscli
  3. >>> CLIENT.list('/resourcesdir/')
  4. [u'pppp', u'qqq']
  5. >>> CLIENT.delete('/resourcesdir/qqq')
  6. True
  7. >>> CLIENT.list('/resourcesdir/')
  8. [u'pppp']
  • 注意:可以通过hdfscli —help查看其它高级参数。同时进入hdfscli后可以通过help(CLIENT) 查看交互式的命令帮助

Restful API的方式

也就是WebHDFS的接口,常用的操作包括如下:

  • 上传文件
  1. curl -i -X PUT -T ./examples/jars/spark-examples_2.11-2.3.2.jar "http://ap-xxx-.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/spark-examples_2.11-2.3.2.jar?op=CREATE&data=true&user.name=resource" -H "Content-Type:application/octet-stream"
  • 查看文件
  1. curl -i "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/?op=LISTSTATUS&user.name=resource"
  • 删除文件
  1. curl -i -X DELETE "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/spark-examples_2.11-2.3.2.jar?op=DELETE&user.name=resource"
  • 创建目录
  1. curl -i -X PUT "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/test?op=MKDIRS&user.name=resource"
  • 下载文件
  1. wget "http://ap-wz93xg6zn7q1jzoae-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/ossutil64?op=OPEN&user.name=resource"