国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

這篇具有很好參考價(jià)值的文章主要介紹了大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

?一,分布式系統(tǒng)概述

Hadoop的兩大核心組件

大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

HDFSHadoop Distributed Filesystem):是一個(gè)易于擴(kuò)展的分布式文件系統(tǒng),運(yùn)行在成百上千臺(tái)低成本機(jī)器上。HDFS具有高度容錯(cuò)能力,旨在部署在低成本機(jī)器上。HDFS主要用于對(duì)海量文件信息進(jìn)行存儲(chǔ)管理,也就是解決大數(shù)據(jù)文件(如TB乃至PB級(jí))的存儲(chǔ)問題,是目前應(yīng)用最廣泛的分布式文件系統(tǒng)。

分布式系統(tǒng)的演變:
大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

傳統(tǒng)文件系統(tǒng)遇到的問題 :

傳統(tǒng)文件系統(tǒng)的問題:

?當(dāng)數(shù)據(jù)量越來越大時(shí),會(huì)遇到存儲(chǔ)瓶頸,需要擴(kuò)容;

?由于文件過大,上傳下載都非常耗時(shí)

分布式文件系統(tǒng)的雛形

?橫向擴(kuò)容,即增加服務(wù)器數(shù)量,構(gòu)成計(jì)算機(jī)集群

?大文件切割成多個(gè)數(shù)據(jù)塊,將數(shù)據(jù)塊以并行的方式,分布地在多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)、讀取

DHFS集群架構(gòu):

大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

  • 普通Hadoop集群結(jié)構(gòu)由一個(gè)兩階網(wǎng)絡(luò)構(gòu)成。
  • 機(jī)架內(nèi)的節(jié)點(diǎn)之間、機(jī)架之間,通過光纖高速交換機(jī)完成彼此的連接與交互。
  • 每個(gè)機(jī)架(Rack)有30-40個(gè)服務(wù)器,配置一個(gè)1GB的交換機(jī),并向上連接到一個(gè)核心交換機(jī)或者路由器(1GB或以上)。

?HDFS的集群中的節(jié)點(diǎn)分為兩類

? 名稱結(jié)點(diǎn)(NameNode :又稱為 主節(jié)點(diǎn) (Master Node) ,存儲(chǔ)元數(shù)據(jù),元數(shù)據(jù)可看作是數(shù)據(jù)目錄,存放一些其他服務(wù)器的信息(相當(dāng)于一個(gè)代理服務(wù)器);
? 數(shù)據(jù)節(jié)點(diǎn)DataNode:又稱為 從節(jié)點(diǎn)( Slave Node )存儲(chǔ)數(shù)據(jù)塊,即實(shí)際數(shù)據(jù)。
大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))
DHFS的優(yōu)點(diǎn):
支持超大文件 流式數(shù)據(jù)讀寫 高數(shù)據(jù)吞吐量 硬件設(shè)備要求低 高容錯(cuò)性 ……

? 一次寫入、多次讀取的流式數(shù)據(jù)訪問模式:

?一次寫入 從數(shù)據(jù)源收集或生成的數(shù)據(jù)集,向HDFS中的文件一次性寫入,關(guān)閉之后不可修改,只能在文件末尾追加。
?多次讀取 在該數(shù)據(jù)集上進(jìn)行各種分析,每次分析都需要讀取該數(shù)據(jù)集的大部分甚至全部數(shù)據(jù)
?流式數(shù)據(jù)訪問: 讀取數(shù)據(jù)文件就像流水一樣,不是一次性過來而是 “流”過來,來一部分、處理一部分。例如,下載電影,用迅雷邊下邊播。
? 綜上 :即批量數(shù)據(jù)處理,不能隨機(jī)讀寫、不能交互式處理

?DHFS的缺點(diǎn)

不適合低延遲數(shù)據(jù)訪問 無法高效存儲(chǔ)大量小文件 不支持多用戶寫入和修改 ……

無法高效存儲(chǔ)大量小文件:

由于名稱節(jié)點(diǎn)HDFS文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中,因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)受限于名稱節(jié)點(diǎn)的內(nèi)存容量。一般每個(gè)文件、目錄和數(shù)據(jù)塊的元數(shù)據(jù)存儲(chǔ)信息大約占150字節(jié)(B)。因此,如果有一百萬個(gè)文件,且每個(gè)文件占一個(gè)數(shù)據(jù)塊,那至少需要300MB的內(nèi)存。盡管存儲(chǔ)上百萬個(gè)文件是可行的,但是存儲(chǔ)數(shù)十億個(gè)文件就超出了當(dāng)前硬件的能力。

二,相關(guān)的概念

1,(block)數(shù)據(jù)塊的概念:

? HDFS 中,文件被拆分成多個(gè) 數(shù)據(jù)塊 Hadoop2.x 版本下, 默認(rèn)是 128MB ,每個(gè)塊作為 獨(dú)立單元 進(jìn)行存儲(chǔ)。
? 所有的塊( block )同樣大小,除了最后一個(gè)塊
? 每個(gè)塊 備份3 ,存儲(chǔ)于 不同 的數(shù)據(jù)節(jié)點(diǎn) DataNode 中。
大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))
如果一個(gè)文件有1000MB則在hadoop2.x版本下,將會(huì)被分成7份128MB的數(shù)據(jù)塊和一個(gè)0.812MB的數(shù)據(jù)塊。

2,元數(shù)據(jù)

? HDFS中文件和目錄的信息 :文件名 (/user/data/File.txt )、 目錄名、父目錄信息、文件大小、文件的創(chuàng)建 修改 時(shí)間等;
? 文件數(shù)據(jù)塊及其存儲(chǔ)信息 :文件分塊情況(塊數(shù)、塊的編號(hào))、副本個(gè)數(shù)、每個(gè)副本所在的DataNode信息等;
? HDFS中所有DataNode的信息 :用于DataNode管理。
/user/data/File.txt是文件所在的路徑,有三個(gè)備份,2號(hào),8號(hào),9號(hào),然后每個(gè)里面?zhèn)浞萑齻€(gè)不同服務(wù)器的數(shù)據(jù)。
大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

3,(NameNode)名稱結(jié)點(diǎn)(我的理解是代理服務(wù)器)

NameNode HDFS 集群 主服務(wù)器 ,通常稱為 名稱節(jié)點(diǎn) 或者 主節(jié)點(diǎn) 。 一旦 NameNode 關(guān)閉,? ? ? ?就無法訪問 Hadoop 集群。

???? 主要作用:

? 存儲(chǔ)、 管理、更新 元數(shù)據(jù)
? 管理 客戶端 對(duì)文件的訪問, 記錄 對(duì)文件系統(tǒng)的更改操作

4,(DtaNode)數(shù)據(jù)節(jié)點(diǎn)

??? 數(shù)據(jù)節(jié)點(diǎn)HDFS集群中的從服務(wù)器,稱為數(shù)據(jù)節(jié)點(diǎn),它與NameNode保持不斷的通信,其主要作用:

? 負(fù)責(zé) 數(shù)據(jù)塊 的存儲(chǔ)和讀取
? 根據(jù)客戶端或名稱節(jié)點(diǎn)的調(diào)度,存儲(chǔ)并檢索數(shù)據(jù)塊,對(duì)數(shù)據(jù)塊進(jìn)行創(chuàng)建、刪除等操作
? 向名稱節(jié)點(diǎn)定期發(fā)送自己存儲(chǔ)的數(shù)據(jù)塊的列表信息(心跳信息)
? 每個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)的實(shí)際數(shù)據(jù),保存在該節(jié)點(diǎn)本地的Linux文件系統(tǒng)中
總結(jié)圖:
我的理解就是 ,你上傳到服務(wù)器的數(shù)據(jù),為了保證數(shù)據(jù)的安全性,如果一個(gè)服務(wù)器出現(xiàn)了問題 ,那么必須保證你的數(shù)據(jù)不能丟失,那么在其他服務(wù)器上也會(huì)備份一份出問題服務(wù)器的數(shù)據(jù),以保證數(shù)據(jù)不丟失,就是一個(gè)存有你數(shù)據(jù)的服務(wù)器壞掉了,也不會(huì)影響你的數(shù)據(jù)。
大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))

? ? ? 以上僅僅是我的理解,僅供參考。文章來源地址http://www.zghlxwxcb.cn/news/detail-416451.html

到了這里,關(guān)于大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 【頭歌】大數(shù)據(jù)從入門到實(shí)戰(zhàn) - 第2章 分布式文件系統(tǒng)HDFS

    任務(wù)描述 本關(guān)任務(wù):使用 Hadoop 命令來操作分布式文件系統(tǒng)。 編程要求 在右側(cè)命令行中啟動(dòng) Hadoop ,進(jìn)行如下操作。 在 HDFS 中創(chuàng)建 /usr/output/ 文件夾; 在本地創(chuàng)建 hello.txt 文件并添加內(nèi)容:“ HDFS 的塊比磁盤的塊大,其目的是為了最小化尋址開銷?!?; 將 hello.txt 上傳至 H

    2024年02月05日
    瀏覽(65)
  • 頭歌Educoder云計(jì)算與大數(shù)據(jù)——實(shí)驗(yàn)三 分布式文件系統(tǒng)HDFS

    頭歌Educoder云計(jì)算與大數(shù)據(jù)——實(shí)驗(yàn)三 分布式文件系統(tǒng)HDFS

    本關(guān)任務(wù):使用Hadoop命令來操作分布式文件系統(tǒng)。 為了完成本關(guān)任務(wù)你需要了解的知識(shí)有:1.HDFS的設(shè)計(jì),2.HDFS常用命令。 HDFS的設(shè)計(jì) 點(diǎn)點(diǎn)點(diǎn)…題目省略,懶得寫了,下同 分布式文件系統(tǒng) NameNode與DataNode HDFS的常用命令 在右側(cè)命令行中啟動(dòng)Hadoop,進(jìn)行如下操作。 在HDFS中創(chuàng)建

    2024年02月13日
    瀏覽(95)
  • 分布式文件系統(tǒng)HDFS

    分布式文件系統(tǒng)HDFS

    分布式文件系統(tǒng) 把文件分布存儲(chǔ)到多個(gè)計(jì)算機(jī)節(jié)點(diǎn) 上,通過網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺(tái)主機(jī)上進(jìn)行分布式存儲(chǔ)的文件系統(tǒng)。 分布式文件系統(tǒng)有兩大模式: Remote Access Model: 非本地文件不會(huì)復(fù)制到本地,所以對(duì)非本地文件的讀取和修改,利用RPC進(jìn)行。 Upload/ Download Model:所有非本地文

    2024年02月09日
    瀏覽(20)
  • 《大數(shù)據(jù)技術(shù)原理與應(yīng)用(第3版)》期末復(fù)習(xí)——第三章分布式文件系統(tǒng)HDFS習(xí)題

    分布式文件系統(tǒng)的結(jié)構(gòu) 1、 名稱節(jié)點(diǎn) (“主節(jié)點(diǎn)”): 負(fù)責(zé)文件和目錄的創(chuàng)建、刪除和重命名等,同時(shí)管理著數(shù)據(jù)節(jié)點(diǎn)和文件塊之間的映射關(guān)系。 2、 數(shù)據(jù)節(jié)點(diǎn) (“從節(jié)點(diǎn)”): 負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和讀取。在存儲(chǔ)時(shí),由名稱節(jié)點(diǎn)分配存儲(chǔ)位置,然后由客戶端把數(shù)據(jù)直接寫入相應(yīng)

    2024年02月12日
    瀏覽(22)
  • 2. 分布式文件系統(tǒng) HDFS

    2. 分布式文件系統(tǒng) HDFS

    問題一:如果一個(gè)文件中有 10 個(gè)數(shù)值,一行一個(gè),并且都可以用 int 來度量?,F(xiàn)在求 10 個(gè)數(shù)值的和 思路: 逐行讀取文件的內(nèi)容 把讀取到的內(nèi)容轉(zhuǎn)換成 int 類型 把轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行相加 輸出最后的一個(gè)累加和 問題二:10000 個(gè)文件,每個(gè)文件 2T,文件里的內(nèi)容依然是每行一個(gè)

    2024年02月08日
    瀏覽(22)
  • 大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲(chǔ)、處理、分析和應(yīng)用(林子雨)——第三章 分布式文件系統(tǒng)HDFS

    大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲(chǔ)、處理、分析和應(yīng)用(林子雨)——第三章 分布式文件系統(tǒng)HDFS

    大數(shù)據(jù)要解決數(shù)據(jù)存儲(chǔ)問題,所以有了分布式文件系統(tǒng)(DFS),但可能不符合當(dāng)時(shí)的一些應(yīng)用需求,于是谷歌公司開發(fā)了GFS(Google file System)。GFS是閉源的,而HDFS是對(duì)GFS的開源實(shí)現(xiàn)。 1.GFS和DFS有什么區(qū)別? GFS(Google File System)和DFS(Distributed File System)都是分布式文件系統(tǒng),

    2024年02月03日
    瀏覽(99)
  • 頭歌 分布式文件系統(tǒng)HDFS 答案

    頭歌 分布式文件系統(tǒng)HDFS 答案

    第1關(guān):HDFS的基本操作 在右側(cè)命令行中啟動(dòng) Hadoop ,進(jìn)行如下操作。 在 HDFS 中創(chuàng)建 /usr/output/ 文件夾; 在本地創(chuàng)建 hello.txt 文件并添加內(nèi)容:“ HDFS的塊比磁盤的塊大,其目的是為了最小化尋址開銷。 ”; 將 hello.txt 上傳至 HDFS 的 /usr/output/ 目錄下; 刪除 HDFS 的 /user/hadoop 目錄

    2023年04月27日
    瀏覽(22)
  • Hadoop HDFS(分布式文件系統(tǒng))

    Hadoop HDFS(分布式文件系統(tǒng))

    一、Hadoop HDFS(分布式文件系統(tǒng)) 為什么要分布式存儲(chǔ)數(shù)據(jù) 假設(shè)一個(gè)文件有100tb,我們就把文件劃分為多個(gè)部分,放入到多個(gè)服務(wù)器 靠數(shù)量取勝,多臺(tái)服務(wù)器組合,才能Hold住 數(shù)據(jù)量太大,單機(jī)存儲(chǔ)能力有上限,需要靠數(shù)量來解決問題 數(shù)量的提升帶來的是網(wǎng)絡(luò)傳輸,磁盤讀寫,

    2024年02月06日
    瀏覽(26)
  • Hadoop分布式文件系統(tǒng)-HDFS

    Hadoop分布式文件系統(tǒng)-HDFS

    HDFS?(Hadoop?Distributed?File?System)是?Hadoop?下的分布式文件系統(tǒng),具有高容錯(cuò)、高吞吐量等特性,可以部署在低成本的硬件上。 HDFS?遵循主/從架構(gòu),由單個(gè)?NameNode(NN)?和多個(gè)?DataNode(DN)?組成: -?NameNode?:?負(fù)責(zé)執(zhí)行有關(guān)?`?文件系統(tǒng)命名空間?`?的操作,例如打開,關(guān)閉、

    2024年02月07日
    瀏覽(28)
  • Hadoop:HDFS--分布式文件存儲(chǔ)系統(tǒng)

    Hadoop:HDFS--分布式文件存儲(chǔ)系統(tǒng)

    目錄 ? HDFS的基礎(chǔ)架構(gòu) VMware虛擬機(jī)部署HDFS集群 HDFS集群?jiǎn)⑼C?HDFS Shell操作 hadoop 命令體系: 創(chuàng)建文件夾 -mkdir ?查看目錄內(nèi)容 -ls ?上傳文件到hdfs -put 查看HDFS文件內(nèi)容 -cat 下載HDFS文件 -get 復(fù)制HDFS文件 -cp 追加數(shù)據(jù)到HDFS文件中 -appendToFile HDFS文件移動(dòng) -mv ?刪除HDFS文件 -rm ?

    2024年02月09日
    瀏覽(92)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包