一、實驗?zāi)康?/h3>

1. 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色
2. 熟練使用HDFS操作常用的shell命令
3. 熟悉HDFS操作常用的Java API

二、實驗平臺

• 操作系統(tǒng)：CentOS 8
• Hadoop版本：3.3.1
• jdk版本：1.8
• Java IDE：Eclipse

三、實驗內(nèi)容

1. 使用Hadoop命令操作分布式文件系統(tǒng)。

1. 新建目錄
   在本地和hadoop中分別創(chuàng)建文件夾：

   在本地創(chuàng)建目錄：
   
   Hadoop創(chuàng)建目錄：
   

2. 上傳文件至dfs
   切換到本地input目錄下，創(chuàng)建文件并添加數(shù)據(jù)：hello hadoop。
   
   
   將該文件上傳至hadoop：使用hadoop fs -put <要上傳的文件> <hdfs目錄>命令。
   
   查看上傳到HDFS的文件：
   

3. 移動與刪除
   列出HDFS中的目錄和文件：
   
   
   將helloworld.txt移動到根目錄：
   
   刪除helloworld.txt；
   

下表列出了Hadoop常用的shell命令，在之后使用的時候可以作為參考。

2. HDFS-JAVA接口之讀取文件

1. 在eclipse中創(chuàng)建Hadoop項目
   （1） 創(chuàng)建項目，新建lib目錄
   
   （2）將Hadoop項目所需要的jar包copy到lib目錄下。
   將之前下載的hadoop壓縮包解壓到本地，打開share/hadoop的common目錄和hdfs目錄并將其中的jar包全部拷貝至項目的lib目錄下。
   
   
   
   選中所有jar包添加到項目依賴
   
   然后就可以開始進行編寫hadoop項目了

2. FileSystem對象
   要從Hadoop文件系統(tǒng)中讀取文件，最簡單的辦法是使用java.net.URL對象打開數(shù)據(jù)流，從中獲取數(shù)據(jù)。不過這種方法一般要使用FsUrlStreamHandlerFactory實例調(diào)用setURLStreamHandlerFactory()方法。不過每個Java虛擬機只能調(diào)用一次這個方法，所以如果其他第三方程序聲明了這個對象，那我們將無法使用了。
   因為有時候我們不能在程序中設(shè)置URLStreamHandlerFactory實例，這個時候咱們就可以使用FileSystem API來打開一個輸入流，進而對HDFS進行操作。

3. FileSystem API示例
   首先我們在本地創(chuàng)建一個文件，然后上傳到HDFS以供測試。
   
   
   
   接下來，在eclipse中編寫代碼，使用FileSystem，查看剛剛上傳的文件。
   
   運行出現(xiàn)錯誤：
   
   因為我們沒有l(wèi)og4j.properties文件,我們在src目錄下創(chuàng)建一個log4j.properties文件,寫入以下內(nèi)容:

   #log4j.rootLogger=INFO, stdout
   log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
   log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
   log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
   log4j.appender.logfile=org.apache.log4j.FileAppender  
   log4j.appender.logfile.File=target/spring.log  
   log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
   log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
   #--------console-----------
   log4j.rootLogger=info,myconsole,myfile
   log4j.appender.myconsole=org.apache.log4j.ConsoleAppender
   log4j.appender.myconsole.layout=org.apache.log4j.SimpleLayout
   #log4j.appender.myconsole.layout.ConversionPattern =%d [%t] %-5p [%c] - %m%n
   
   #log4j.rootLogger=error,myfile
   log4j.appender.myfile=org.apache.log4j.DailyRollingFileAppender
   log4j.appender.myfile.File=/tmp/flume.log
   log4j.appender.myfile.layout=org.apache.log4j.PatternLayout
   log4j.appender.myfile.layout.ConversionPattern =%d [%t] %-5p [%c] - %m%n
   

   然后再次運行
   
   還是不行,如果我們寫的直接是虛擬機的ip地址，那默認訪問的應(yīng)該是8020端口，我在Hadoop配置core-site.xml文件的時候設(shè)置的是8088端口，所以需要修改端口號。
   

   還是不行,
   
   檢查了一下我的hadoop啟動情況,resourceManager沒有啟動,而ResourceManager的作用是:負責(zé)集群中所有資源的統(tǒng)一管理和分配，它接收來自各個NodeManager的資源匯報信息，并把這些信息按照一定的策略分配給各個ApplicationMaster。
   
   原來是我yarn-site.xml中resourcemanager的ip寫錯了,詳細過程請看這篇文章resourcemanager啟動失敗
   最后啟動成功:
   
   回到eclipse,重新運行代碼,還是出現(xiàn)重連的情況,然后突然想起來是不是我的防火墻沒有關(guān),使用systemctl status firewalld.service查看防火墻
   
   果然沒有關(guān)防火墻,使用systemctl stop firewalld.service關(guān)閉防火墻,再輸入systemctl disable firewalld.service永久關(guān)閉防火墻
   
   然后再回到eclipse運行代碼,現(xiàn)在是出現(xiàn)亂碼錯誤:
   
   點擊"Windows–>preferences"
   
   選擇"general–>workspace–>text file encoding",選擇other,然后選擇utf-8
   
   最后"apply and close",最后再重新運行,這下終于可以了:
   
   FileSystem是一個通用的文件系統(tǒng)API，F(xiàn)ileSystem實例有下列幾個靜態(tài)工廠方法用來構(gòu)造對象。

   public static FileSystem get(Configuration conf)throws IOException  
   public static FileSystem get(URI uri,Configuration conf)throws IOException  
   public static FileSystem get(URI uri,Configuration conf,String user)throws IOException  
   

   Configuration對象封裝了客戶端或服務(wù)器的配置，通過設(shè)置配置文件讀取類路徑來實現(xiàn)（如：/etc/hadoop/core-site.xml）。
   (1) 第一個方法返回的默認文件系統(tǒng)是在core-site.xml中指定的，如果沒有指定，就使用默認的文件系統(tǒng)。
   (2) 第二個方法使用給定的URI方案和權(quán)限來確定要使用的文件系統(tǒng)，如果給定URI中沒有指定方案，則返回默認文件系統(tǒng)，
   (3) 第三個方法作為給定用戶來返回文件系統(tǒng)，這個在安全方面來說非常重要。

4. FSDataInputStream對象
   實際上，F(xiàn)ileSystem對象中的open()方法返回的就是FSDataInputStream對象，而不是標準的java.io類對象。這個類是繼承了java.io.DataInputStream的一個特殊類，并支持隨機訪問，由此可以從流的任意位置讀取數(shù)據(jù)。

   在有了FileSystem實例之后，我們調(diào)用open()函數(shù)來獲取文件的輸入流。

   public FSDataInputStream open(Path p)throws IOException  
   public abstract FSDataInputStream open(Path f,int bufferSize)throws IOException  
   

   使用FSDataInputStream獲取HDFS的/user/tmp/目錄下的task.txt的文件內(nèi)容，并輸出
   首先我們在本地創(chuàng)建task.txt文件,寫入"怕什么真理無窮，進一寸有一寸的歡喜。",然后上傳到hdfs
   
   在eclipse中編寫代碼:
   

   成功輸出：
   

3. HDFS-JAVA接口之上傳文件

FSDataOutputStream對象
FileSystem類有一系列新建文件的方法，最簡單的方法是給準備新建的文件制定一個path對象，然后返回一個用于寫入數(shù)據(jù)的輸出流：

public FSDataOutputStream create(Path p)throws IOException  

該方法有很多重載方法，允許我們指定是否需要強制覆蓋現(xiàn)有文件，文件備份數(shù)量，寫入文件時所用緩沖區(qū)大小，文件塊大小以及文件權(quán)限。

注意：create()方法能夠為需要寫入且當前不存在的目錄創(chuàng)建父目錄，即就算傳入的路徑是不存在的，該方法也會為你創(chuàng)建一個目錄，而不會報錯。如果有時候我們并不希望它這么做，可以先用exists()方法先判斷目錄是否存在。

我們在寫入數(shù)據(jù)的時候經(jīng)常想要知道當前的進度，API也提供了一個Progressable用于傳遞回調(diào)接口，這樣我們就可以很方便的將寫入datanode的進度通知給應(yīng)用了。

package org.apache.hadoop.util;  
public interface Progressable{  
    public void progress();  
}  

在本地目錄下創(chuàng)建test2.txt文件，并輸入如下數(shù)據(jù),注意這里是在Windows的本地目錄下創(chuàng)建文件：

迢迢牽牛星，皎皎河漢女。
纖纖擢素手，札札弄機杼。
終日不成章，泣涕零如雨。
河漢清且淺，相去復(fù)幾許？
盈盈一水間，脈脈不得語。
《迢迢牽牛星》

使用FSDataOutputStream對象將文件上傳至HDFS的/user/tmp/目錄下，并打印進度。
編寫代碼如下:

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;


public class FileSystemUpload {
	
	public static void main(String[] args) throws IOException {
		//路徑最好寫絕對路徑，要不然容易報找不到文件的錯誤
		File localPath = new File("E:\\Users\\cl\\eclipse-workspace\\hadoop\\src\\unit2\\test2.txt");
		//這里是hdfs的路徑
		String hdfsPath = "hdfs://192.168.*.*:8088/user/tmp/test2.txt";
		//獲取輸入對象
		InputStream in = new BufferedInputStream(new FileInputStream(localPath));
		
		Configuration config=new Configuration();
		FileSystem fs = null;
		try {
			//最后一個參數(shù)是指以什么身份上傳文件,如果不寫默認以你創(chuàng)建的用戶的身份上傳
			fs = FileSystem.get(URI.create(hdfsPath), config, "root");
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		//待上傳文件大小
		long fileSize = localPath.length() > 65536 ? localPath.length() / 65536 : 1;
		FSDataOutputStream out = fs.create(new Path(hdfsPath), new Progressable() {
			//方法在每次上傳了64KB字節(jié)大小的文件之后會自動調(diào)用一次
			long fileCount = 0;
			public void progress() {
				System.out.println("總進度"+(fileCount / fileSize)*100+"%");
				fileCount++;
			}
		});
		//最后一個參數(shù)的意思是使用完之后是否關(guān)閉流
		IOUtils.copyBytes(in, out, 2048, true);
	}
}

運行結(jié)果:

4. HDFS-JAVA接口之刪除文件

1. 列出文件
   在HDFS的API中就提供了listStatus()方法來實現(xiàn)該功能。

   public FileStatus[] listStatus(Path f)throws IOException  
   public FileStatus[] listStatus(Path f,PathFilter filter)throws IOException  
   public FileStatus listStatus(Path[] files)throws IOException  
   public FileStatus() listStatus(Path[] files,PathFilter filter)throws IOException  
   

   當傳入?yún)?shù)是一個文件時，他會簡單的轉(zhuǎn)變成以數(shù)組方式返回長度為1的FileStatus對象，當傳入?yún)?shù)是一個目錄時，則返回0或多個FileStatus對象，表示此目錄中包含的文件和目錄。

   現(xiàn)在我們使用listStatus()方法來列出hdfs根目錄下的文件夾與user目錄下的文件夾。
   

   運行結(jié)果:
   

2. 刪除文件
   使用FileSystem的delete()方法可以永久性刪除文件或目錄。

   public boolean delete(Path f,boolean recursive)throws IOException  
   

   如果f是一個文件或者空目錄，那么recursive的值可以忽略，當recursize的值為true，并且p是一個非空目錄時，非空目錄及其內(nèi)容才會被刪除（否則將會拋出IOException異常）。
   我們來創(chuàng)建兩個目錄,一個是空目錄,一個是非空目錄
   
   

   然后編寫代碼將這兩個目錄刪除
   

   運行結(jié)果:
   

   文章來源地址http://www.zghlxwxcb.cn/news/detail-404129.html

到了這里，關(guān)于實驗二、熟悉常用的HDFS操作(HDFS JavaAPI之讀取/上傳/刪除文件)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！