前言

Hadoop不同的文件系統(tǒng)之間通過(guò)調(diào)用Java API進(jìn)行交互，利用Java API進(jìn)行交互，需要利用軟件Eclipse編寫Java程序。

一、環(huán)境要求

• 已經(jīng)配置好網(wǎng)絡(luò)的Ubuntu系統(tǒng)的虛擬機(jī)
• Ubuntu 16.04 64位
• hadoop-3.1.3.tar，可在官網(wǎng)下載或者點(diǎn)擊下載（提取碼：0412）
• jdk-8u162-linux-x64.tar

二、在Ubuntu中安裝Eclipse

?利用Ubuntu左側(cè)邊欄自帶的軟件中心安裝軟件，在Ubuntu左側(cè)邊欄打開軟件中心

?打開軟件中心后，在軟件中心搜索欄輸入“ec”，軟件中心會(huì)自動(dòng)搜索相關(guān)的軟件，點(diǎn)擊如下圖中Eclipse，進(jìn)行安裝

?安裝需要管理員權(quán)限，Ubuntu系統(tǒng)需要用戶認(rèn)證，彈出“認(rèn)證”窗口，請(qǐng)輸入當(dāng)前用戶的登錄密碼

等待安裝，安裝結(jié)束后安裝進(jìn)度條便會(huì)消失。

安裝好后側(cè)邊欄就會(huì)出現(xiàn)eclipse圖標(biāo)。點(diǎn)擊打開eclipse。

三、在Eclipse創(chuàng)建項(xiàng)目

?第一次打開Eclipse,需要填寫workspace(工作空間)，用來(lái)保存程序所在的位置，這里按照默認(rèn)，不需要改動(dòng)，如下圖

?點(diǎn)擊“OK”按鈕，進(jìn)入Eclipse軟件。

可以看出，由于當(dāng)前是采用hadoop用戶登錄了Linux系統(tǒng)，因此，默認(rèn)的工作空間目錄位于hadoop用戶目錄“/home/hadoop”下。
Eclipse啟動(dòng)以后，會(huì)呈現(xiàn)下圖的界面

?選擇“File->New->Java Project”菜單，開始創(chuàng)建一個(gè)Java工程，會(huì)彈出下圖界面。在“Project name”后面輸入工程名稱“HDFSExample”，選中“Use default location”，讓這個(gè)Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目錄下。在“JRE”這個(gè)選項(xiàng)卡中，可以選擇當(dāng)前的Linux系統(tǒng)中已經(jīng)安裝好的JDK，比如java-8-openjdk-amd64。然后，點(diǎn)擊界面底部的“Next>”按鈕，進(jìn)入下一步的設(shè)置。

四、為項(xiàng)目添加需要用到的JAR包

進(jìn)入下一步的設(shè)置以后，會(huì)出現(xiàn)如圖界面

?需要在這個(gè)界面中加載該Java工程所需要用到的JAR包，這些JAR包中包含了可以訪問(wèn)HDFS的Java API。這些JAR包都位于Linux系統(tǒng)的Hadoop安裝目錄下，對(duì)于本教程而言，就是在“/usr/local/hadoop/share/hadoop”目錄下。點(diǎn)擊界面中的“Libraries”選項(xiàng)卡，然后，點(diǎn)擊界面右側(cè)的“Add External JARs…”按鈕，會(huì)彈出下圖界面。

?在該界面中，上面的一排目錄按鈕（即“usr”、“l(fā)ocal”、“hadoop”、“share”、“hadoop”、“mapreduce”和“l(fā)ib”），當(dāng)點(diǎn)擊某個(gè)目錄按鈕時(shí)，就會(huì)在下面列出該目錄的內(nèi)容。
為了編寫一個(gè)能夠與HDFS交互的Java應(yīng)用程序，一般需要向Java工程中添加以下JAR包：
（1）"/usr/local/hadoop/share/hadoop/common”目錄下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；
（2）/usr/local/hadoop/share/hadoop/common/lib”目錄下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/hdfs”目錄下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar；
（4）“/usr/local/hadoop/share/hadoop/hdfs/lib”目錄下的所有JAR包。
比如，如果要把“/usr/local/hadoop/share/hadoop/common”目錄下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar添加到當(dāng)前的Java工程中，可以在界面中點(diǎn)擊目錄按鈕，進(jìn)入到common目錄，然后，界面會(huì)顯示出common目錄下的所有內(nèi)容。

?請(qǐng)?jiān)诮缑嬷杏檬髽?biāo)點(diǎn)擊選中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar，然后點(diǎn)擊界面右下角的“確定”按鈕，就可以把這兩個(gè)JAR包增加到當(dāng)前Java工程中，出現(xiàn)的界面如圖示。

?

?從這個(gè)界面中可以看出，hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar已經(jīng)被添加到當(dāng)前Java工程中。然后，按照類似的操作方法，可以再次點(diǎn)擊“Add External JARs…”按鈕，把剩余的其他JAR包都添加進(jìn)來(lái)。需要注意的是，當(dāng)需要選中某個(gè)目錄下的所有JAR包時(shí)，可以使用“Ctrl+A”組合鍵進(jìn)行全選操作。全部添加完畢以后，就可以點(diǎn)擊界面右下角的“Finish”按鈕，完成Java工程HDFSExample的創(chuàng)建。

五、編寫Java應(yīng)用程序代碼?

下面編寫一個(gè)Java應(yīng)用程序，用來(lái)檢測(cè)HDFS中是否存在一個(gè)文件。
在Eclipse工作界面左側(cè)的“Package Explorer”面板中，找到剛才創(chuàng)建好的工程名稱“HDFSExample”，然后在該工程名稱上點(diǎn)擊鼠標(biāo)右鍵，在彈出的菜單中選擇“New->Class”菜單。

?

?在該界面中，只需要在“Name”后面輸入新建的Java類文件的名稱，這里采用名稱“HDFSFileIfExist”，其他都可以采用默認(rèn)設(shè)置，然后，點(diǎn)擊界面右下角“Finish”按鈕。

?可以看出，Eclipse自動(dòng)創(chuàng)建了一個(gè)名為“HDFSFileIfExist.java”的源代碼文件，請(qǐng)?jiān)谠撐募休斎胍韵麓a：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
    public static void main(String[] args){
        try{
            String fileName = "test";
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            if(fs.exists(new Path(fileName))){
                System.out.println("文件存在");
            }else{
                System.out.println("文件不存在");
            }
 
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

該程序用來(lái)測(cè)試HDFS中是否存在一個(gè)文件，其中有一行代碼：

String fileName = "test"

這行代碼給出了需要被檢測(cè)的文件名稱是“test”，沒(méi)有給出路徑全稱，表示是采用了相對(duì)路徑，實(shí)際上就是測(cè)試當(dāng)前登錄Linux系統(tǒng)的用戶hadoop，在HDFS中對(duì)應(yīng)的用戶目錄下是否存在test文件，也就是測(cè)試HDFS中的“/user/hadoop/”目錄下是否存在test文件。

編譯運(yùn)行：

在開始編譯運(yùn)行程序之前，請(qǐng)一定確保Hadoop已經(jīng)啟動(dòng)運(yùn)行，如果還沒(méi)有啟動(dòng)，需要打開一個(gè)Linux終端，輸入以下命令啟動(dòng)Hadoop：

cd /usr/local/hadoop
./sbin/start-dfs.sh

Run As Java Application運(yùn)行程序

由于目前HDFS的“/user/hadoop”目錄下還沒(méi)有test文件，因此，程序運(yùn)行結(jié)果是“文件不存在”。同時(shí)，“Console”面板中還會(huì)顯示一些類似“l(fā)og4j:WARN…”的警告信息，可以不用理會(huì)。

總結(jié)

本文參考林子雨老師Hadoop課程以及大數(shù)據(jù)技術(shù)原理與應(yīng)用 第三章 分布式文件系統(tǒng)HDFS 學(xué)習(xí)指南，完成了自己的HDFS練習(xí)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-420776.html

到了這里，關(guān)于分布式文件系統(tǒng)HDFS之利用Java API與HDFS進(jìn)行交互的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！