Hadoop系列文章目錄
1、hadoop3.1.4簡單介紹及部署、簡單驗(yàn)證
2、HDFS操作 - shell客戶端
3、HDFS的使用（讀寫、上傳、下載、遍歷、查找文件、整個(gè)目錄拷貝、只拷貝文件、列出文件夾下文件、刪除文件及目錄、獲取文件及文件夾屬性等）-java
4、HDFS-java操作類HDFSUtil及junit測試（HDFS的常見操作以及HA環(huán)境的配置）
5、HDFS API的RESTful風(fēng)格–WebHDFS
6、HDFS的HttpFS-代理服務(wù)
7、大數(shù)據(jù)中常見的文件存儲格式以及hadoop中支持的壓縮算法
8、HDFS內(nèi)存存儲策略支持和“冷熱溫”存儲
9、hadoop高可用HA集群部署及三種方式驗(yàn)證
10、HDFS小文件解決方案–Archive
11、hadoop環(huán)境下的Sequence File的讀寫與合并
12、HDFS Trash垃圾桶回收介紹與示例
13、HDFS Snapshot快照
14、HDFS 透明加密KMS
15、MapReduce介紹及wordcount
16、MapReduce的基本用法示例-自定義序列化、排序、分區(qū)、分組和topN
17、MapReduce的分區(qū)Partition介紹
18、MapReduce的計(jì)數(shù)器與通過MapReduce讀取/寫入數(shù)據(jù)庫示例
19、Join操作map side join 和 reduce side join
20、MapReduce 工作流介紹
21、MapReduce讀寫SequenceFile、MapFile、ORCFile和ParquetFile文件
22、MapReduce使用Gzip壓縮、Snappy壓縮和Lzo壓縮算法寫文件和讀取相應(yīng)的文件
23、hadoop集群中yarn運(yùn)行mapreduce的內(nèi)存、CPU分配調(diào)度計(jì)算與優(yōu)化
本文簡單介紹WebHDFS和使用。
一、介紹
1、WebHDFS概述
WebHDFS 提供了訪問HDFS的RESTful接口，內(nèi)置組件，默認(rèn)開啟。
WebHDFS 使得集群外的客戶端可以不用安裝HADOOP和JAVA環(huán)境就可以對HDFS進(jìn)行訪問，且客戶端不受語言限制。
當(dāng)客戶端請求某文件時(shí)，WebHDFS會將其重定向到該資源所在的datanode。
2、格式
FileSystem URIs vs HTTP URLs
WebHDFS的文件系統(tǒng)schema為webhdfs://。URL格式為:
webhdfs://:<HTTP_PORT>/
效果相當(dāng)于 hdfs://:<RPC_PORT>/
在RESTful風(fēng)格的API中，相應(yīng)的HTTP URL格式：
http://:<HTTP_PORT>/webhdfs/v1/
?op=…
3、HTTP RESTful API參數(shù)
官網(wǎng)幫助文檔的說明
二、使用示例
hadoop的HDFS Web UI，其文件瀏覽功能是基于WebHDFS來操作HDFS實(shí)現(xiàn)的。如下示例：
文章來源：http://www.zghlxwxcb.cn/news/detail-695128.html
- 基于HTTP RESTful API操作演示
查看目錄下所有文件及文件夾
在瀏覽器地址欄中輸入：http://192.168.10.41:9870/webhdfs/v1/?op=LISTSTATUS
展示結(jié)果如下，其訪問命令如上圖 hadoop fs -ls /：
讀取指定文件內(nèi)容
# 語法格式：
http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>][&noredirect=<true|false>]
# 其中noredirect參數(shù)用于指定是否重定向到一個(gè)datanode，在該節(jié)點(diǎn)可以讀取文件數(shù)據(jù)
# 示例1
http://192.168.10.41:9870/webhdfs/v1/test/testing.txt?op=open&noredirect=false
# 示例2 -會直接下載數(shù)據(jù)文件
http://192.168.10.41:9870/webhdfs/v1/test/testing.txt?op=open&noredirect=true
文章來源地址http://www.zghlxwxcb.cn/news/detail-695128.html
到了這里，關(guān)于5、HDFS API的RESTful風(fēng)格--WebHDFS的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
