目前用户的jar包、python等资源文件使用HttpFs来进行管理。目前可以使用命令行或者Restful API来管理这些资源。
从分析集群的“集群详情”页面获取HttpFs的连接串:
使用HdfsCLI连接HttpFs服务通过命令行方式管理资源,具体操作如下:
pip install hdfs
[global]
default.alias = dev
[dev.alias]
url = http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000
user = resource
后续进入hdfscli的command line进行相关的操作
[root@xxx ~]# hdfscli
>>> CLIENT.makedirs('/resourcesdir/')
进入hdfscli的交互式命令行,使用CLIENT.upload()上传本地文件或者目录到HTTPFs的目录
下面分别上传本地的文件'./spark-examples-0.0.1-SNAPSHOT.jar'、目录'./files'到HTTPFs的目录/resourcesdir/
[root@xxx jars]# hdfscli
>>> CLIENT.upload('/resourcesdir/','./spark-examples-0.0.1-SNAPSHOT.jar')
'/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar'
>>> CLIENT.upload('/resourcesdir/','./files')
'/resourcesdir/files'
>>> CLIENT.list('/resourcesdir/')
[u'files', u'spark-examples-0.0.1-SNAPSHOT.jar']
进入hdfscli的交互式命令行,使用CLIENT.download()下载HTTPFs的文件到本地
下面分别下载文件'/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar'、目录'/resourcesdir/files'到本地的./download/目录
[root@xxx jars]# hdfscli
>>> CLIENT.download('/resourcesdir/spark-examples-0.0.1-SNAPSHOT.jar','./download/')
'/root/jars/download/spark-examples-0.0.1-SNAPSHOT.jar'
>>> CLIENT.download('/resourcesdir/files','./download/')
'/root/jars/download/files'
进入hdfscli的交互式命令行,使用CLIENT.list()查看对应目录下文件
[root@xxx ~]# hdfscli
>>> CLIENT.list('/resourcesdir/')
[u'pppp', u'qqq']
进入hdfscli的交互式命令行,使用CLIENT.list()查看对应目录下文件
[root@xxx ~]# hdfscli
>>> CLIENT.list('/resourcesdir/')
[u'pppp', u'qqq']
>>> CLIENT.delete('/resourcesdir/qqq')
True
>>> CLIENT.list('/resourcesdir/')
[u'pppp']
也就是WebHDFS的接口,常用的操作包括如下:
curl -i -X PUT -T ./examples/jars/spark-examples_2.11-2.3.2.jar "http://ap-xxx-.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/spark-examples_2.11-2.3.2.jar?op=CREATE&data=true&user.name=resource" -H "Content-Type:application/octet-stream"
curl -i "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/?op=LISTSTATUS&user.name=resource"
curl -i -X DELETE "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/spark-examples_2.11-2.3.2.jar?op=DELETE&user.name=resource"
curl -i -X PUT "http://ap-xxx-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/test?op=MKDIRS&user.name=resource"
wget "http://ap-wz93xg6zn7q1jzoae-master2-001.spark.9b78df04-b.rds.aliyuncs.com:14000/webhdfs/v1/resourcesdir/ossutil64?op=OPEN&user.name=resource"
在文档使用中是否遇到以下问题
更多建议
匿名提交