• 存儲分類
  • 塊存儲
    需要格式化，將文件直接保存到磁盤上
  • 文件存儲
    應用程序通過調用操作系統(tǒng)將文件保存到塊存儲進行持久化
  • Object對象存儲
    基于對象的存儲，也可以被稱為云存儲，在對象存儲系統(tǒng)中，文件沒有多層級的文件結構，而是以存儲空間的概念，文件被拆分為多個部分并散布在過個存儲服務器中，對象存儲的文件不能打開、修改。
  • 統(tǒng)一存儲
    即NAS和SAN結合在一起，在一個架構中，NAS和SAN共存，由一個統(tǒng)一界面管理
    ?統(tǒng)一存儲的缺點：NAS和SAN數(shù)據(jù)增長速度不是一致的
    統(tǒng)一存儲的優(yōu)點：消除了單體架構的信息孤島，多個不同平臺和應用共享一套硬件，提高磁盤的利用率支持所有的傳輸協(xié)議
  • 分布式存儲
    通過網絡使用所有主機上的磁盤空間，并將所有分散的存儲資源構成一個虛擬的存儲設備，數(shù)據(jù)分散的存儲在所有的主機上
• 基于網絡的存儲解決方案
  • NAS網絡存儲系統(tǒng)（需要文件系統(tǒng)）
    NAS提供文件級別存儲數(shù)據(jù)，通常采用NFS、SMB/CIFS等網絡文件共享協(xié)議進行文件存取，是以太網連接的網絡存儲系統(tǒng)，NAS通常與非結構化數(shù)據(jù)相關聯(lián)
  • SAN存儲區(qū)域網絡（不需要文件系統(tǒng)）
    通過光纖等高速網絡設備在服務器與存儲設備間搭建專門的存儲網絡，提供塊級別存儲數(shù)據(jù)，使用光纖通道連接，SAN與數(shù)據(jù)庫等結構化工作負載相關聯(lián)
  • SAN/NAS一體化（華為）
    一套軟硬件同時支持SAN與NAS，文件系統(tǒng)每個文件都是一個對象，文件系統(tǒng)是由對象組成的對象集與LUNLUN分Thin Lun和Thick Lun,兩種LUN都來自poolhe Space系統(tǒng)分別與Space子系統(tǒng)（華為）交互，提高了軟件棧帶來的效率
  • SAN負載均衡
    將LUN通過多路徑（UItraPath），可以理解為LUN在存儲設備上的負載均衡
  • NAS負載均衡 ?思維導圖?
    將文件系統(tǒng)協(xié)議（NFS、CIFS、FTP）分發(fā)給不同節(jié)點、不同端口上的業(yè)務IP進行處理
• 硬盤類型
  • SATA
    SATA串口硬盤，面向于普通用戶，是計算機機械硬盤的主流，SATA硬盤不能兼容SAS接口，SATA硬盤更偏向于廉價和大容量，7200RPM（轉/分）,傳輸速率為150MB/S，一般是以200G的倍數(shù)進行計算容量（非書面）
  • SAS
    串行連接SCSI，企業(yè)級應用盤，機械硬盤中速度最快的，SAS硬盤可兼容SATA接口，SAS硬盤更注重可靠性，10000/15000RPM（轉/分），傳輸速率300MB/s，一般是以600G的倍數(shù)進行存儲容量計算（非書面）
  • NL-SAS
    使用SAS接口，盤體使用SATA盤體，從而提高了速度和存儲容量，7200RPM（轉/分）傳輸速率可看做在SATA硬盤與SAS硬盤之間的
  • NVMe
    使用NVMe協(xié)議的固態(tài)硬盤，NVme協(xié)議非易失性內存主機控制器接口，是一個邏輯接口規(guī)范;傳輸速率為600MB/s，一般是以960G的倍數(shù)進行計算容量（非書面）
• 硬盤協(xié)議
  • AHCI
    高級主機控制器接口，它允許軟件與SATA存儲設備溝通的硬件機制，可讓SATA設備激活高級SATA功能，運行在SATA接口之上的協(xié)議
  • NVMe
    非意失性內存主機控制器接口規(guī)范，此規(guī)范主要是為基于閃存的存儲設備提供一個低延時的、內部并發(fā)化的原生界面規(guī)范，運行在PCIe接口之上的協(xié)議，直接與CPU通信
  • 硬盤協(xié)議示意圖

    

• 硬盤容災技術
  • Raid
    獨立磁盤冗余陣列
    • Raid0
      至少需要兩塊硬盤，將數(shù)據(jù)分別拆分放入兩塊硬盤中，讀取時同時讀取，寫入時同時寫入，提高磁盤連續(xù)讀寫能力，當其中一塊磁盤損壞時，數(shù)據(jù)丟失
      ?計算公式：N快盤組成，邏輯容量為N塊盤容量之和
    • Raid1
      至少需要兩塊硬盤，將一個完整的數(shù)據(jù)復制到兩塊硬盤上，該陣列是最安全的，空間利用率和速度是最低的
      計算公式：兩塊盤組成，邏輯容量為N塊盤容量之和的一半
    • Raid5
      至少需要三塊硬盤，每個硬盤保存一部分的恢復碼，增加了磁盤的容災能力，在性能上與raid0接近，容災能力為一塊磁盤
      計算公式：N塊盤組成，邏輯容量為N-1塊盤的容量之和
    • Raid6
      至少需要四塊硬盤，與raid5相同，每個磁盤保存兩份恢復碼，將容災能力從一塊提高到了兩塊硬盤
      計算公式：N快盤組成，邏輯容量為N-2塊盤的容量之和
    • Raid50
      至少需要9塊磁盤，首先將磁盤每三塊組成Raid5，然后再將三個Raid5組合成一個Raid0，它具備更高的容災能力
      計算公式：假如每個RAID5由N塊盤組成，共有M個RAID5組成該RAID50，則邏輯容量為(N-1)*M塊盤容量之和。
    • Raid60
      至少需要8塊硬盤，每四個硬盤組合成兩個Raid6，再將兩個Raid6組成一個Raid0,其具備更高的容災能力，和更高的讀寫速度，容災能力為兩塊硬盤
      計算公式：假每個RAID6由N塊盤組成，共有M個RAID6組成該RAID60，則邏輯容量為(N-2)*M塊盤容量之和。
    • Raid-tp
      在raid6的基礎上增加了其可靠性和安全性，每個CKG（邏輯塊組）中的校驗數(shù)據(jù)占用三個CHUNK（邏輯塊）的空間，允許任意三個數(shù)據(jù)CHUNK（邏輯塊）故障。如果出現(xiàn)四個及以上CHUNK（邏輯塊）同時故障，則整個RAID級別故障
  • LUN虛擬化
    LUN虛擬化可以將多個Raid組劃分為多個邏輯單元，并且映射給多個主機，LUN虛擬化可以實現(xiàn)跨Raid組
  • 塊虛擬化（Raid2.0）
    將硬盤切為多個邏輯塊，再將邏輯塊組成LUN（每個邏輯塊來自不同硬盤），基于LUN做Raid組，即每個LUN就是一個Raid組
  • 上層LUN虛擬化+底層塊虛擬化（Raid2.0+）
    將硬盤切分為若干個相同大小的邏輯塊邏輯塊（chunk）：CK一般為64M，其中一部分做熱備塊；其余的邏輯塊做數(shù)據(jù)塊，硬盤域只支持同類型的硬盤中每個硬盤出一部分數(shù)據(jù)塊組合成數(shù)據(jù)塊組又被成為邏輯塊組(chunk group)：CKG，來自不同的硬盤，再將數(shù)據(jù)快組做Raid，再將Raid組進行LUN虛擬化又被稱為EXCENT：EXCENT一般為4MB
  • Raid2.0+快速重構
    因為Raid2.0+特性，單個硬盤故障后，會將空閑的CKG中的CK用來重構故障數(shù)據(jù)傳統(tǒng)重構時間：30M/s；Raid+快速重構時間：600M/s，如果故障盤上分配的CK較少，重構速度更快
• 3DC（兩地三中心）
  • 集群
    它將多個系統(tǒng)連接到一起，使多臺服務器能夠像一臺服務器那樣工作，提高了系統(tǒng)的容災，穩(wěn)定性，高可用和靈活性
    • Oracle RAC集群
      一個Oracle RAC數(shù)據(jù)庫有多個服務器節(jié)點，每個服務器節(jié)點上都有獨自的OS、ClusterWare、oracle Rac數(shù)據(jù)庫，每個節(jié)點都有自己的網絡監(jiān)聽器。
      ClusterWare是一個集群軟件，主要用于集群系統(tǒng)管理
      Oracle Rac是數(shù)據(jù)庫程序，提供oracle實例進程，供客戶端訪問集群系統(tǒng)
      網絡監(jiān)聽器，主要監(jiān)控自己的網絡端口信息，所有服務和程序需要通過操作系統(tǒng)去訪問一個共享存儲
      Oracle RAC集群中因為每個節(jié)點都有完整的數(shù)據(jù)庫程序，節(jié)點與節(jié)點之間通過私有網絡進行通信，互相監(jiān)控節(jié)點狀態(tài)，數(shù)據(jù)庫中所有的數(shù)據(jù)、日志、文件、控制文件都會保存在集群的共享存儲設備上，因此所有節(jié)點都可以同時讀寫共享存儲
    • VMware集群
      Vmware ESXi：虛擬化平臺軟件，類似于個人電腦中的vmware workstation
      VCenter Server：集中管理ESXI的軟件
      使用ESXi虛擬化軟件，創(chuàng)建虛擬機，并用VCenter Server管理ESXI虛擬機，在創(chuàng)建集群時，可以啟用vSphere DRS、vSphere HA、vSAN并在所有主機上共同管理映像更新，簡單來說VMware集群，就是虛擬化的服務器集群，在發(fā)生故障之后可以在物理機服務器上，虛擬機可以在集群的另外一臺ESXI服務器上重啟
    • FusionSphere集群
      在FusionSphere平臺上創(chuàng)建的一組虛擬機，在FusionSphere發(fā)放的虛擬機上安裝eSight集群系統(tǒng)，將虛擬機組成集群
  • 生產業(yè)務中心
    提供生產業(yè)務響應及生產環(huán)境的數(shù)據(jù)存取
  • 同城災備中心
    提供將生產業(yè)務中心的數(shù)據(jù)實時的復制到同城災備中心，即使在生產業(yè)務中心發(fā)生故障之后實時切換至同城災備中心
  • 異地災難備份中心
    將生產業(yè)務中心的數(shù)據(jù)及業(yè)務異步的復制到異地災難備份中心，即使在生產業(yè)務中心，同城災備中心都發(fā)生故障之后業(yè)務數(shù)據(jù)及業(yè)務不會收到影響
  • 同城災備方案
    • 冷備
      同城災備中心只提供數(shù)據(jù)實時備份，不提供實時服務
    • 熱備
      同城災備中心實時的復制數(shù)據(jù)，但不提供服務，只有在生產業(yè)務中心發(fā)生故障之后才會接管業(yè)務
  • 同城雙活方案
    在同城主從備份中，可以進行數(shù)據(jù)實時備份，然后再進行讀寫分離通過中間件實現(xiàn)，將同城從庫也接入訪問流量，雙活：主庫承擔60%~70%業(yè)務，從庫分擔30%~40%的業(yè)務
  • 偽異地雙活方案
    在同城雙活的方案中，將異地災難備份中心改為雙活從庫，即實現(xiàn)了偽異地雙活方案，該方案會受到網絡因素的影響，不具備機房內網絡質量
  • 異地雙活方案
    將同城雙活方案中，將異地災難備份中心改為雙活從庫，并實現(xiàn)就近訪問，存儲層實現(xiàn)雙主架構：兩個機房互為從庫，自己是主庫，即可實時雙向數(shù)據(jù)同步，且可以避免網絡因素因素的影響
  • 異地多活方案
    需要設立一個中心機房，且所有從庫都與主庫為雙主架構，多個從庫之間沒有任何關聯(lián)，這樣從庫寫入的所有數(shù)據(jù)都會同步到中心機房，再由中心機房同步到其他從庫
  • 免網關雙活方案（華為）
    華為免網關雙活（HyperMetro）存儲設備之間沒有虛擬化網關設備，使用存儲陣列組成跨站點集群系統(tǒng)，支持LUN Active-Active雙活雙主架構，通過FastWrite功能對陣列進行協(xié)議級優(yōu)化
    傳統(tǒng)SCSI流程：“寫命令”“寫分配完成”“寫數(shù)據(jù)”“寫執(zhí)行狀態(tài)”
    FastWrite流程：“寫數(shù)據(jù)命令”“寫執(zhí)行狀態(tài)”
• 華為存儲設備
  • 全閃存
    全SSD硬盤為存儲容器，OceanStor Dorado系列
  • 混合閃存
    SSD+HDD硬盤為存儲容器，OceanStor系列
  • 分布式存儲
    Ocean Pacific 太平洋系列
• 存儲產品發(fā)展
  • 同級互聯(lián)
    將兩個設備進行串聯(lián)，設備與設備之間可支持25GE光口，設備與主機之間可支持10GE光口
• 存儲控制器
  由處理器，緩存存儲器，網絡和存儲設備的連接接口三部分組成，存儲控制器將多個存儲設備中的存儲區(qū)域連接起來，作為一個存儲區(qū)域提供給服務器
• palm-sized NVMe SSD
  palm-sized規(guī)格的NVMe硬盤
• BBU
  外部電源失效的前提下，提供后備電源支持，以保證存儲陣列中業(yè)務數(shù)據(jù)的安全性
• 前端接口
  存儲系統(tǒng)中前端接口一般指存儲設備與主機連接的接口
• FlashLink盤控配合算法
  針對閃存介質的優(yōu)化技術
  • 鯤鵬芯片配合眾核算法提升芯片20倍的計算速度
  • 硬盤框上的鯤鵬芯片配合業(yè)務分流技術，將重構業(yè)務卸載到硬盤框上進行，將重構速度提升20倍
  • 控制器內按CPU分區(qū)，CPU內按核分組，CPU內按核綁定I/O
    LUN以64粒度打散到vnode上，vnode與CPU親和綁定，減少了CPU的跨度和CPU cache的MISS率，Vnode內CPU核采用分組算法，I/O讀寫在不同的組上，再基于CPU核做資源隔離，一次請求在一個核上連續(xù)執(zhí)行，避免頻繁多核切換
• BMC集成管理模塊
  • （iBMC）能夠持續(xù)監(jiān)控系統(tǒng)參數(shù)、觸發(fā)告警，并且采取恢復措施，以便最大限度地避免停機
    支持Hi1710或Hi1711兩種iBMC插卡，可外出VGA、管理網口、調試串口等管理接口,可將故障恢復時間從2小時縮短為10分鐘
• SmartMatrix全互聯(lián)架構
  3副本+cache持續(xù)鏡像+全互聯(lián)
  • 3副本
    將業(yè)務數(shù)據(jù)切割為大小相同的數(shù)據(jù)塊，每個數(shù)據(jù)塊在不同的節(jié)點上保存三個副本，
  • Cache
    高速緩存（Cache），用來存放當前最活躍的程序和數(shù)據(jù)，在存儲器結構層次中寄存器>Cache>主存儲器>磁盤存儲器>磁盤，光盤存儲器，Cache存在于處理器和主存儲器之間，
  • Cache映像
    處理器工作時，給出的是主存的地址，就需要將主存地址轉換為cache地址，處理器才能獲取主存地址，這被稱為cache映像
    1.直接映像：主存塊與cache塊的對應關系是固定的，主存地址中的區(qū)內塊號對應cache存儲器的塊，塊內的地址就是主存地址中的低位地址,這種映像方式地址變化簡單，但不靈活
    2.全相聯(lián)映像：主存塊與cache塊分成容量相同的塊，這樣主存的任意一塊，都可以調入cache的任意一塊，這種映像方式使得地址變化復雜，但是靈活多變
    3.組相聯(lián)映像：將cache塊再分成組，組采用直接映像，塊采用全相聯(lián)映像，這樣，主存的任意一塊可以存入cache相對于組的任意一塊
  • Cache連續(xù)鏡像
    當1個控制器失效，鏡像控制器重建緩存鏡像
  • 3副本+Cache持續(xù)鏡像
    3副本+Cache持續(xù)鏡像，能夠保證任意兩個控制器同時故障，任意一個控制框故障，7個控制器陸續(xù)故障，將三個cache副本放入3個不同器，將三個cache副本放入2個控制框，只要在控制器和控制框中保證一個cache副本可用及不會對業(yè)務造成影響
  • 全互聯(lián)
    前端卡全互聯(lián)，控制器全互聯(lián)，盤框跨引擎互聯(lián)
• 數(shù)據(jù)糾錯
  數(shù)據(jù)在傳輸過程中因為外界因素的影響從而會產生某些錯誤，為避免錯誤對數(shù)據(jù)整體的影響，從而產生的解決方案
  • 算法
    用系統(tǒng)的方法去描述解決問題的策略和機制。
  • LDPC+FSP算法
    LDPC：低密度奇偶校驗碼算法
    FSP： 定長分塊算法
• 端到端的NVMe
  華為采用自研ASIC接口模塊，ASIC SSD盤/框設計，從協(xié)議解析、IO轉發(fā)、業(yè)務優(yōu)先、硬件加速對NVMe全面支持，因為采取NVMe協(xié)議，SSD直接與CPU通信，縮短了傳輸時間，提高了傳輸速度
• QoS
  流控技術,QoS是基于令牌的資源分配架構，首先根據(jù)業(yè)務類型在CLI或DM上設置任務優(yōu)先級，對應任務優(yōu)先級分配一定數(shù)量的令牌，當有存儲請求時，先檢測是否有令牌資源，如果沒有就暫時掛起等待
• SmartPartition
  用來提高業(yè)務的讀緩存空間，按照近期存儲的數(shù)據(jù)訪問可能性最高的原則，新緩存到Cache的數(shù)據(jù)不會立刻下盤，為了給關鍵業(yè)務預留更多的cache空間，系統(tǒng)允許為單LUN和FS分配更多的cache
• 異構虛擬化（SmartVirtualization）（華為）
  本端存儲系統(tǒng)能夠將異構存儲系統(tǒng)提供的存儲資源當作本地存儲資源進行集中管理；通過SmartVirtualization的LUN偽裝技術，將OceanStor V5芯系列終端存儲系統(tǒng)的eDevLUN的WWN和HostLUN ID設置成與異構存儲系統(tǒng)上的LUN的信息一致，并通過主機多路徑軟件實現(xiàn)在線LUN無縫切換，從而在主機不中斷業(yè)務的情況下完成數(shù)據(jù)遷移
  • 異構陣列接管
  • 異構容災
  • 異構數(shù)據(jù)保護
• 數(shù)據(jù)遷移（Smart）

?文章來源地址http://www.zghlxwxcb.cn/news/detail-446829.html

到了這里，關于存儲、計算、分布式存儲篇（收集整理適合小白）的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！