存儲(chǔ)架構(gòu)漫談(1)

《存儲(chǔ)架構(gòu)漫談(1)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、文檔名稱文檔密級(jí)漫談高端存儲(chǔ)陣列架構(gòu)1從陣列所要解決的問題說起通常，業(yè)界按照價(jià)格、規(guī)模、性能等參數(shù)講陣列產(chǎn)品劃分為入門級(jí)、中端、高端三個(gè)級(jí)別。陣列往往要求在存取速度、可靠性、容量三者中取得一個(gè)權(quán)衡，任何一個(gè)陣列依據(jù)其定位的不同，這三點(diǎn)的權(quán)重會(huì)有所差別。在存儲(chǔ)系統(tǒng)中，對(duì)于單盤而言，失效可以假定是一個(gè)常態(tài)。一個(gè)擁有幾十甚至上千硬盤的系統(tǒng)中，硬盤的失效不可避免的事情，因此，陣列必須解決可靠性的問題。目前，解決可靠性的技術(shù)手段主要是數(shù)據(jù)冗余技術(shù)，比如RAID技術(shù)，通過記錄額外的數(shù)據(jù)校驗(yàn)來(lái)達(dá)到數(shù)據(jù)恢復(fù)的目的。單盤由于受限于生產(chǎn)工藝，容量總是有限的，而用戶往往希望得

2、到更大的容量，因此硬盤陣列必須完成對(duì)多個(gè)單盤容量的整合，呈現(xiàn)給用戶大的虛擬的硬盤。本質(zhì)上，這就是一種虛擬化。我們知道，物理硬盤的存取速度取決于機(jī)械馬達(dá)旋轉(zhuǎn)的速度，考慮到可靠性、散熱、能耗、噪音等因素，轉(zhuǎn)速不可能做的太高，目前硬盤速度一般在5000RPM-20000RPM之間，因此單盤的存取速度（帶寬）總是很小，陣列需要有效的將多個(gè)物理帶寬整合。2高端存儲(chǔ)陣列架構(gòu)如果按照控制器的個(gè)數(shù)來(lái)對(duì)陣列架構(gòu)進(jìn)行分類，高端陣列可以分為雙控（參見圖1）與多控兩大類。2.1雙控架構(gòu)典型的雙控系統(tǒng)中（參見圖1），兩個(gè)控制板通過鏡像通道連接在一起，進(jìn)行數(shù)據(jù)交換。每個(gè)控制板的后端

3、分別接入物理硬盤的環(huán)路（通常物理硬盤是雙端口，剛好可以接成兩個(gè)環(huán)路，見圖1），主機(jī)可以通過任何一個(gè)控制板接入存儲(chǔ)陣列，并看見統(tǒng)一的LUN空間。從軟件上而言，由于只需要考慮兩個(gè)控制器，和多控系統(tǒng)相比起來(lái)，雙控系統(tǒng)的實(shí)現(xiàn)較為簡(jiǎn)單。2013-10-24華為保密信息,未經(jīng)授權(quán)禁止擴(kuò)散第1頁(yè),共5頁(yè)文檔名稱文檔密級(jí)圖1：雙控架構(gòu)目前，在所有的高端存儲(chǔ)陣列中，采取雙控架構(gòu)的只有IBM2009年推出的DS8000系列。另外，在中低端存儲(chǔ)陣列上基本上都采用雙控架構(gòu)。由于雙控系統(tǒng)受限于諸如計(jì)算資源、內(nèi)存、帶寬物理限制等因素，性能不可能做到太高，所以可以見到的絕大多數(shù)高端陣

4、列都采取的是多控系統(tǒng)。2.1多控陣列架構(gòu)基于多控的陣列主要是一些高端陣列系統(tǒng)，比如EMC的VMAX、HDS的VSP，IBM的XIV、HP的P10000和華為的OceanStor高端存儲(chǔ)系統(tǒng)等產(chǎn)品。對(duì)多控系統(tǒng)按照連接拓?fù)溥M(jìn)行劃分，多控系統(tǒng)可以劃分為基于總線交換式的架構(gòu)、矩陣直連架構(gòu)、全互聯(lián)架構(gòu)、交換式架構(gòu)。如圖2展示了基于總線交換式架構(gòu)的邏輯結(jié)構(gòu)。目前已經(jīng)沒有廠家采用這種架構(gòu)，EMC和HDS的早期產(chǎn)品都曾經(jīng)采用這種架構(gòu)。該架構(gòu)的缺點(diǎn)是可擴(kuò)展性不強(qiáng)，且由于基于總線，存在總線爭(zhēng)用。如圖3是基于矩陣直連式的存儲(chǔ)陣列架構(gòu)，EMC的上一代產(chǎn)品DMX-4就是采用該架構(gòu)

5、，該架構(gòu)的前端和后端采取矩陣式直接連接，缺點(diǎn)是可擴(kuò)展性很差，同時(shí)由于連接信號(hào)線數(shù)目眾多，在一定程度上也降低了系統(tǒng)的可靠性，目前EMC已經(jīng)棄用該架構(gòu)。圖4描述的是基于交換式的架構(gòu)，該架構(gòu)通過交換ASIC將前端和后端連接進(jìn)行數(shù)據(jù)交換，相對(duì)于矩陣直連式，它具有更好的可擴(kuò)展性，但是問題是如何減少交換時(shí)延和交換爭(zhēng)用。目前HDS的存儲(chǔ)系統(tǒng)采用的是該架構(gòu)。華為保密信息,未經(jīng)授權(quán)禁止擴(kuò)散第2頁(yè),共5頁(yè)文檔名稱文檔密級(jí)如圖5所示的全分布式架構(gòu)，該架構(gòu)將串行降至了最低，使得系統(tǒng)獲得了理論最高加速比。由于該系統(tǒng)的所有資源，包括計(jì)算資源，內(nèi)存資源，磁盤資源都分散的足夠開，存在資

6、源爭(zhēng)用的可能性極小，所以，圖5的系統(tǒng)具有更好的性能，更好的可擴(kuò)展性，同時(shí)也擁有更低的成本。目前市場(chǎng)上最新一代高端存儲(chǔ)陣列HPP10000，EMC的VMAX40K，華為OceanStor高端存儲(chǔ)系統(tǒng)都采用這種全分布式架構(gòu)。3高端陣列架構(gòu)實(shí)例分析-華為OceanStor高端存儲(chǔ)系統(tǒng)華為OceanStor高端存儲(chǔ)系統(tǒng)采用智能矩 圖6華為OceanStor高端存儲(chǔ)系統(tǒng)架構(gòu)陣式系統(tǒng)架構(gòu)，如圖6所示，也是一種基于完全分布式的架構(gòu)，所有的計(jì)算資源（CPU），緩存，帶寬等資源都均勻分布于每個(gè)節(jié)點(diǎn)中，在該架構(gòu)下，不再存在全局緩存爭(zhēng)用問題，串行化達(dá)到最低，使得系統(tǒng)獲得了理論

7、最高加速比，具有更好的可擴(kuò)展性。華為OceanStor高端存儲(chǔ)系統(tǒng)是目前業(yè)界擴(kuò)展能力最強(qiáng)，性能最高的高端陣列，最大可以擴(kuò)展到16個(gè)控制器，3TBCache,3216塊硬盤，隨機(jī)IOPS達(dá)到100萬(wàn)IOPS以上。2.1基于PCIe的全交換架構(gòu)OceanStor高端存儲(chǔ)系統(tǒng)的全交換架構(gòu)基于PCIe協(xié)議，PCIe協(xié)議是一種高性能、高帶寬，成熟、穩(wěn)定的串行通訊互連標(biāo)準(zhǔn)。OceanStor高端存儲(chǔ)系統(tǒng)以雙平面PCIe交換作為節(jié)點(diǎn)間互連。這種架構(gòu)設(shè)計(jì)具有如下的優(yōu)點(diǎn)：2013-10-24華為保密信息,未經(jīng)授權(quán)禁止擴(kuò)散第3頁(yè),共5頁(yè)文檔名稱文檔密級(jí)l高可靠：所有部件全冗

8、余，控制器間負(fù)載均衡和Failover，單個(gè)控制器失效不影響業(yè)務(wù)運(yùn)行l(wèi)高擴(kuò)展性：