4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-2 改造Hadoop配置
【實(shí)操】step_2-2 在關(guān)閉Hadoop所有服務(wù)的前提下修改相關(guān)配置文件（hdfs-site.xml）

修改前：

修改后

作用：

這些代碼是 Hadoop 分布式文件系統(tǒng)的配置文件，其中包含以下三個(gè)屬性：

dfs.replication：該屬性設(shè)置了文件副本的數(shù)量。在這里，設(shè)置為1，表示文件只有一個(gè)副本存儲(chǔ)在文件系統(tǒng)中。這意味著 Hadoop 不會(huì)創(chuàng)建文件的備份，這將節(jié)省磁盤(pán)空間，但也增加了數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

dfs.namenode.http.address：這個(gè)屬性指定了主 NameNode 的 HTTP 通信地址。在這里，設(shè)置為 master:50070，表示主 NameNode 在主機(jī)名為 master，端口號(hào)為 50070 的地址上運(yùn)行。

dfs.http.address：該屬性指定了所有 NameNode 和 DataNode 的 HTTP 通信地址。在這里，設(shè)置為 master:50070，表示所有節(jié)點(diǎn)都在主機(jī)名為 master，端口號(hào)為 50070 的地址上運(yùn)行。

總的來(lái)說(shuō)，這些代碼的作用是設(shè)置 Hadoop 分布式文件系統(tǒng)的副本數(shù)量和各個(gè)節(jié)點(diǎn)的通信地址，以確保文件系統(tǒng)能夠正確地工作。

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-2 改造Hadoop配置
【實(shí)操】step_2-3 在關(guān)閉Hadoop所有服務(wù)的前提下修改相關(guān)配置文件（core-site.xml）
就改了主機(jī)名為master

作用：

hadoop.tmp.dir：該屬性指定了 Hadoop 的臨時(shí)目錄路徑。在這里，設(shè)置為 /home/hadoop/hadoop/tmp，表示 Hadoop 將使用這個(gè)路徑作為臨時(shí)目錄來(lái)存儲(chǔ)各種臨時(shí)文件和數(shù)據(jù)。

fs.defaultFS：該屬性指定了 Hadoop 的默認(rèn)文件系統(tǒng)。在這里，設(shè)置為 hdfs://master，表示 Hadoop 的默認(rèn)文件系統(tǒng)是一個(gè)名為 master 的 NameNode 上運(yùn)行的 HDFS 文件系統(tǒng)。

這些配置文件的作用是為 Hadoop 集群配置一些默認(rèn)值，例如臨時(shí)目錄和默認(rèn)文件系統(tǒng)。這些屬性可以通過(guò)修改配置文件來(lái)改變，以適應(yīng)特定的應(yīng)用程序需求。

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-2 改造Hadoop配置
【實(shí)操】step_2-4 最后在檢查下是否還有遺漏

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-2 改造Hadoop配置
【實(shí)操】step_2-5 啟動(dòng)Hadoop，確認(rèn)相關(guān)JVM進(jìn)程正常工作
前面啟動(dòng)發(fā)現(xiàn)JVM(start-all.sh)報(bào)錯(cuò)yarn-site.xml，是前面的語(yǔ)法錯(cuò)誤，可以回看我yarn-site.xml的截圖
修復(fù)完后成功啟動(dòng)

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-2 改造Hadoop配置
【實(shí)操】step_2-6 簡(jiǎn)單測(cè)試功能是否可用

發(fā)現(xiàn)沒(méi)有問(wèn)題

實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-3 編寫(xiě)代碼

【實(shí)操】此處用eclipse演示，具體細(xì)節(jié)請(qǐng)參考梁江懷老師博客

1. 配置開(kāi)發(fā)環(huán)境
   （1）我們建議，可先采用非Maven的方式完成開(kāi)發(fā)，因?yàn)檫@樣可以規(guī)避許多的網(wǎng)絡(luò)訪問(wèn)問(wèn)題。
   （2）如果非Maven方式完成后，再嘗試去做Maven模式。
2. 參考博客，編寫(xiě)代碼
   （1）非Maven工程API訪問(wèn)HDFS
   https://blog.csdn.net/qq_42881421/article/details/83001401
   
   跟著弄成功運(yùn)行！

（2）Maven工程API訪問(wèn)HDFS
https://blog.csdn.net/qq_42881421/article/details/100762022

【注】
? Maven的相關(guān)配置和下載請(qǐng)耐心完成
? 如果遇到海外網(wǎng)絡(luò)不能訪問(wèn)的問(wèn)題，請(qǐng)參考實(shí)驗(yàn)1介紹的配置國(guó)內(nèi)鏡像源的方法解決
? 其實(shí)為了方便，建議直接使用IDEA完成；后續(xù)課程《大數(shù)據(jù)內(nèi)存計(jì)算》（spark）也要使用IDEA
根據(jù)教程同樣完成：

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-3 編寫(xiě)代碼
【實(shí)操】如果對(duì)環(huán)境配置不熟悉，可以先看：
（3）熟悉Eclipse + Maven的JAVA開(kāi)發(fā)環(huán)境
https://blog.csdn.net/qq_42881421/article/details/82945454
（4）IDEA + Maven工程
https://blog.csdn.net/qq_42881421/article/details/100717502
（5）Maven的單篇安裝教程
https://blog.csdn.net/qq_42881421/article/details/82900849

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-3 編寫(xiě)代碼
【實(shí)操】完成Maven工程配置后，編寫(xiě)如下代碼（此處僅僅是文件內(nèi)容讀取，注意自己虛擬機(jī)的IP和端口）

package com.test.HDFS;
 
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
 
public class ReadFile {
 
	public static void main(String[] args) throws IOException {
		//創(chuàng)建Configuration實(shí)例
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.244.130:8020");//注意修改成Linux的IP
		//通過(guò)配置獲取到文件系統(tǒng)
		FileSystem fs = FileSystem.get(conf);
		//定義要讀取文件所在的HDFS路徑
		Path src=new Path("hdfs://192.168.244.130:8020/AAA");//注意修改成Linux的IP
		//通過(guò)文件系統(tǒng)的open()方法得到一個(gè)文件輸入流，用于讀取
		FSDataInputStream dis = fs.open(src);
		//用IOUtils下的copyBytes將流中的數(shù)據(jù)打印輸出到控制臺(tái)
		IOUtils.copyBytes(dis, System.out, conf);
        //關(guān)閉輸入流
        dis.close();
	}
}

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-3 編寫(xiě)代碼
【實(shí)操】注意，我們?cè)谔摂M網(wǎng)絡(luò)IP的設(shè)備上編寫(xiě)了一個(gè)Client程序，用于讀取HDFS上對(duì)應(yīng)文件的內(nèi)容：

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目3-3 編寫(xiě)代碼
【實(shí)操】注意，通過(guò)編寫(xiě)HDFS API程序，我們一共要完成以下六個(gè)功能：
? 文件的創(chuàng)建
? 文件的刪除
? 文件的上傳
? 文件的下載
? 文件屬性查看
? 文件內(nèi)容查看
編寫(xiě)HDFS API程序可以使用Java編程語(yǔ)言，并使用Hadoop的Java API庫(kù)進(jìn)行開(kāi)發(fā)。以下是六個(gè)基本功能的實(shí)現(xiàn)方法：

文件的創(chuàng)建

package com.test.HDFS;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;

public class CreateFile {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration(); // 創(chuàng)建Hadoop配置對(duì)象
        URI uri = new URI("hdfs://192.168.244.130:8020"); // 定義HDFS連接參數(shù)
        FileSystem fs = FileSystem.get(uri, conf, "hadoop"); // 獲取HDFS文件系統(tǒng)對(duì)象

        Path file = new Path("/Java_Create"); // 定義要?jiǎng)?chuàng)建的文件路徑
        FSDataOutputStream out = fs.create(file, true); // 創(chuàng)建文件輸出流，第二個(gè)參數(shù)表示是否覆蓋已有文件
        out.writeBytes("Hello World\n"); // 寫(xiě)入文件內(nèi)容（不支持中文）
        out.writeUTF("你好世界\n"); // 再次寫(xiě)入文件內(nèi)容（支持中文）
        out.close(); // 關(guān)閉文件輸出流

        fs.close(); // 關(guān)閉HDFS文件系統(tǒng)對(duì)象
    }
}

文件的刪除

package com.test.HDFS;
 
import java.net.URI; // 引入Java標(biāo)準(zhǔn)庫(kù)中的URI類(lèi)，用于處理URI（統(tǒng)一資源標(biāo)識(shí)符）。
import org.apache.hadoop.conf.Configuration; // 引入Apache Hadoop庫(kù)中的Configuration類(lèi)，用于讀取Hadoop集群的配置信息。
import org.apache.hadoop.fs.FileSystem; // 引入Apache Hadoop庫(kù)中的FileSystem類(lèi)，用于訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）。
import org.apache.hadoop.fs.Path; // 引入Apache Hadoop庫(kù)中的Path類(lèi)，用于表示HDFS上的路徑。
public class DeleteFile {
	public static void main(String[] args) throws Exception {
		 Configuration conf=new Configuration();// 引入Apache Hadoop庫(kù)中的Path類(lèi)，用于表示HDFS上的路徑。
		   //注意修改為自己的IP
		   URI uri=new URI("hdfs://192.168.244.130:8020");// 創(chuàng)建一個(gè)URI對(duì)象，表示Hadoop集群的名稱節(jié)點(diǎn)所在的地址和端口號(hào)。
		   FileSystem fs=FileSystem.get(uri,conf,"hadoop");//使用上述URI和Configuration對(duì)象，創(chuàng)建一個(gè)FileSystem對(duì)象，用于訪問(wèn)HDFS上的文件系統(tǒng)。
		   //HDFS file							
		   Path path=new Path("/user/hadoop/1.txt");//創(chuàng)建一個(gè)Path對(duì)象，表示HDFS上的文件路徑。
		   fs.delete(path,true);//使用FileSystem對(duì)象刪除HDFS上指定的文件，第二個(gè)參數(shù)true表示遞歸刪除，如果文件不存在也不會(huì)拋出異常。
	}
}
 

文件的上傳

第一次運(yùn)行下面代碼報(bào)錯(cuò)，后面發(fā)現(xiàn)原因是path的問(wèn)題

package com.test.HDFS;
 
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
public class UploadFile {
  public static void main(String[] args) throws Exception{
	   Configuration conf=new Configuration();
	   //注意修改為自己的IP
	   URI uri=new URI("hdfs://192.168.244.130:8020");
	   FileSystem fs=FileSystem.get(uri,conf,"hadoop");
	   //local file
	   Path localPath=new Path("?E:/Hello.txt");//這里寫(xiě)的是Windows系統(tǒng)下的文件路徑，注意按實(shí)際修改。
	   //HDFS file								
	   //上傳到目的地路徑，可以自定義, hdfs的/user/hadoop目錄需要先用命令創(chuàng)建出來(lái)
	   Path dstPath=new Path("/hadoop/Hello.txt_Win");
	   fs.copyFromLocalFile(localPath,dstPath);
  }
}

把代碼的Path改成下面這個(gè)，然后運(yùn)行發(fā)現(xiàn)成功了

Path localPath = new Path(“file:///E:/Hello.txt”);

文件的下載

鏈接的教程這里有點(diǎn)小錯(cuò)誤，跟我改就可以了

package com.test.HDFS;
 
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
public class DownloadFile {
  public static void main(String[] args) throws Exception{
           Configuration conf=new Configuration();
		   URI uri=new URI("hdfs://192.168.244.130:8020");
		   FileSystem fs=FileSystem.get(uri,conf,"hadoop");
		   //HDFS文件:"/2.txt"為hdfs的文件，如果沒(méi)有該文件請(qǐng)從Linux上傳一個(gè)文件到HDFS.									
		   Path dstPath=new Path("/hadoop/Hello.txt_Win");
		   //local文件位置：需要先在Windows D盤(pán)創(chuàng)建一個(gè)test文件夾存放下載的文件
		   Path localPath=new Path("file:///D:/Download_Linux");
		   //從HDFS下載文件到本地
		   fs.copyToLocalFile(false,dstPath,localPath,true);
   }
}

運(yùn)行成功

文件屬性查看

文件內(nèi)容查看

package com.test.HDFS;
 
 
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
import java.sql.Date;
import java.text.SimpleDateFormat;
public class FileAttr {
  public static void main(String[] args) throws Exception {
           Configuration conf=new Configuration();
		   URI uri=new URI("hdfs://192.168.244.130:8020");
		   FileSystem fs=FileSystem.get(uri,conf,"hadoop");
		   //locate file 文件位置
		   Path fpath=new Path("/hadoop/Hello.txt_Win");
		   FileStatus filestatus=fs.getFileLinkStatus(fpath);//指定要獲取屬性的文件路徑。
		   //get block size 獲取文件塊大小
		   long blocksize=filestatus.getBlockSize();
		   System.out.println("blocksize:"+blocksize);
		   //get file size 獲取文件大小
		   long filesize=filestatus.getLen();
		   System.out.println("filesize:"+filesize);
		   //get file owner 獲取文件所屬者
		   String fileowner=filestatus.getOwner();
		   System.out.println("fileowner:"+fileowner);
		   //get file access time 獲取文件存取時(shí)間
		   SimpleDateFormat formatter=new SimpleDateFormat("yyyy-mm-dd hh:mm:ss");
		   long accessTime=filestatus.getAccessTime();
		   System.out.println("access time:"+formatter.format(new Date(accessTime)));
		   //get file modify time 獲取文件修改時(shí)間
		   long modifyTime=filestatus.getModificationTime();
		   System.out.println("modify time:"+formatter.format(new Date(modifyTime)));
   }
}

運(yùn)行成功

所有代碼都可以參考 梁江懷 老師博客 or 科普白皮教材 or 《權(quán)威指南》

【拓展與思考】

思考題7（選做，可加分保命）實(shí)際上HDFS的命令除了 hdfs 也有 hadoop的，譬如hadoop fs -ls / 就等同于 hdfs dfs -ls /，請(qǐng)問(wèn)這兩種命令有和不同嗎？

實(shí)際上，hadoop fs和hdfs dfs命令是相同的，只是在不同的Hadoop版本中使用不同的命令。
在早期版本中，hadoop fs是主要的文件系統(tǒng)命令，而在較新的版本中，hdfs dfs是主要的文件系統(tǒng)命令。
因此，兩種命令的功能是相同的，都可以用于在HDFS中執(zhí)行文件系統(tǒng)操作。
例如，hadoop fs -ls /和hdfs dfs -ls /命令都用于列出HDFS根目錄中的文件和目錄。

思考題8 （選做，可加分保命）hdfs dfs -ls的顯示結(jié)果中，是否能夠看到block副本數(shù)量，如果可以請(qǐng)指明，否則說(shuō)明情況。

在hdfs dfs -ls命令的輸出中，默認(rèn)情況下是不會(huì)顯示文件的block副本數(shù)量的。
但是，您可以使用hdfs dfs -ls -h命令來(lái)顯示文件的人類(lèi)可讀形式的大小和block副本數(shù)量。
該命令的輸出將包括文件大小、權(quán)限、所有者、組、修改時(shí)間、路徑和block副本數(shù)量等信息。

思考題9（選做，可加分保命）之前學(xué)習(xí)Linux文件系統(tǒng)時(shí)，我們討論過(guò)文件權(quán)限問(wèn)題，請(qǐng)思考HDFS中的文件權(quán)限會(huì)有和不同之處？

雖然HDFS中的文件權(quán)限控制與Linux文件系統(tǒng)中的文件權(quán)限控制有些相似之處，但也存在一些重要的不同之處，
這些差異主要體現(xiàn)在權(quán)限控制的簡(jiǎn)單性和一些特殊性。
HDFS中的權(quán)限控制是由Hadoop的NameNode管理的，
而不是像Linux文件系統(tǒng)一樣是由操作系統(tǒng)內(nèi)核管理的。
HDFS中的文件權(quán)限比Linux文件系統(tǒng)中的文件權(quán)限更加簡(jiǎn)單，只包括讀（read）、寫(xiě)（write）和執(zhí)行（execute）三種權(quán)限。
HDFS中的文件權(quán)限控制比較粗粒度，只能控制整個(gè)文件或目錄的讀寫(xiě)執(zhí)行權(quán)限，而不能對(duì)文件的特定部分進(jìn)行訪問(wèn)控制。

思考題10（選做，可加分保命）HDFS中的distcp命令的作用是什么？它與hdfs dfs -cp 命令有何不同？

與hdfs dfs -cp命令相比，distcp命令的主要不同之處在于以下幾點(diǎn)
并行復(fù)制：distcp命令可以在多個(gè)源和目標(biāo)之間并行復(fù)制數(shù)據(jù)，以加快復(fù)制速度。例如，可以使用多個(gè)并發(fā)任務(wù)來(lái)復(fù)制不同的文件或子目錄，每個(gè)任務(wù)都會(huì)復(fù)制一部分?jǐn)?shù)據(jù)，以最大程度地利用集群的帶寬和處理能力。
跨集群復(fù)制：distcp命令可以在不同的HDFS集群之間復(fù)制數(shù)據(jù)，而hdfs dfs -cp命令只能在同一集群內(nèi)復(fù)制數(shù)據(jù)。這使得distcp命令非常適合在多個(gè)地理位置或不同的組織之間復(fù)制數(shù)據(jù)，例如，將數(shù)據(jù)從一個(gè)Hadoop集群復(fù)制到另一個(gè)Hadoop集群或?qū)?shù)據(jù)從Hadoop集群復(fù)制到云存儲(chǔ)服務(wù)等。
自動(dòng)故障恢復(fù)：distcp命令可以自動(dòng)檢測(cè)和恢復(fù)復(fù)制過(guò)程中的故障和錯(cuò)誤。如果其中一個(gè)復(fù)制任務(wù)失敗，distcp命令可以自動(dòng)重新啟動(dòng)該任務(wù)，或者將失敗的任務(wù)分成更小的子任務(wù)進(jìn)行重試，以確保復(fù)制過(guò)程的連續(xù)性和正確性。
高級(jí)選項(xiàng)：distcp命令還提供了一些高級(jí)選項(xiàng)，例如設(shè)置帶寬限制、跳過(guò)已經(jīng)復(fù)制的文件、忽略某些文件或目錄、在源和目標(biāo)之間進(jìn)行差異對(duì)比等。

項(xiàng)目4 HDFS的API單元測(cè)試程序和更多思考（選做）–還沒(méi)寫(xiě)

【目的】目前實(shí)驗(yàn)課程也在不斷進(jìn)化和改革，其實(shí)思考題和選做部分的內(nèi)容才能真正訓(xùn)練大家對(duì)課程知識(shí)體系的理解，也和培訓(xùn)班面向面試從業(yè)的理念更加貼近。
【思考】
Q1：每次為了嘗試使用HDFS的API都要寫(xiě)一個(gè)類(lèi)，然后編寫(xiě)main嗎？
A1：這樣做太業(yè)余了，明顯應(yīng)該用Java課程中學(xué)過(guò)的UT測(cè)試去編寫(xiě)測(cè)試代碼啊。

Q2：一直強(qiáng)調(diào)文件分塊是為了適應(yīng)分布式計(jì)算，那么這點(diǎn)是如何體現(xiàn)的呢？
A2：參看“seek”和“文件屬性”案例

Q3：HDFS是分布式的，那么如果我們文件中寫(xiě)入了數(shù)據(jù)，那么這些數(shù)據(jù)能夠被立即讀取到嗎？
A3：參看《權(quán)威指南》P74，進(jìn)一步理解I/O流，理解為何要出現(xiàn)工具類(lèi)IOUtils

【注】還是那句話，多看經(jīng)典書(shū)籍，多看項(xiàng)目作者寫(xiě)的資料、論文和書(shū)籍，辨（yuan）證（離開(kāi)）垃圾教材和教程；培訓(xùn)班的課程要分辨著聽(tīng)；學(xué)習(xí)技術(shù)知識(shí)一定要有自己的總結(jié)。

實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-0 簡(jiǎn)單設(shè)置UT

前面沒(méi)發(fā)現(xiàn)要導(dǎo)org.junit.Before,直接@Before報(bào)錯(cuò)
后面發(fā)現(xiàn)在如下界面導(dǎo)入

實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir

? 根據(jù)前面@Before的注釋?zhuān)冗x擇hd賬號(hào)創(chuàng)建/lab2目錄

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir
【結(jié)果】

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir
【結(jié)果】

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir
? 根據(jù)前面@Before的注釋?zhuān)馁~號(hào)為ubuntu，執(zhí)行命令報(bào)錯(cuò)

? 注意，打印語(yǔ)句在報(bào)錯(cuò)之前，所以信息仍然是：“目錄已存在，將刪除后重建”
? 錯(cuò)誤調(diào)用棧信息比較多，在下一頁(yè)展示，可以看到權(quán)限錯(cuò)誤

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-1 單元測(cè)試mkdir

實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-2 單元測(cè)試upload

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-2 單元測(cè)試upload

實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-858360.html

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks

4.實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-3 單元測(cè)試blocks

實(shí)驗(yàn)內(nèi)容 項(xiàng)目4-4 MD5校驗(yàn)

到了這里，關(guān)于實(shí)驗(yàn)二 HDFS的Shell命令操作，和HDFS的API操作的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！