高端存儲(chǔ)陣列架構(gòu)漫談

《高端存儲(chǔ)陣列架構(gòu)漫談》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、高端存儲(chǔ)陣列架構(gòu)漫談資料來(lái)源：http://www.dostor.com/article/2013/0122/1147072.shtml1從陣列所要解決的問(wèn)題說(shuō)起通常，業(yè)界按照價(jià)格、規(guī)模、性能等參數(shù)講陣列產(chǎn)品劃分為入門(mén)級(jí)、中端、高端三個(gè)級(jí)別。陣列往往要求在存取速度、可靠性、容量三者中取得一個(gè)權(quán)衡，任何一個(gè)陣列依據(jù)其定位的不同，這三點(diǎn)的權(quán)重會(huì)有所差別。在存儲(chǔ)系統(tǒng)中，對(duì)于單盤(pán)而言，失效可以假定是一個(gè)常態(tài)。一個(gè)擁有幾十甚至上千硬盤(pán)的系統(tǒng)中，硬盤(pán)的失效不可避免的事情，因此，陣列必須解決可靠性的問(wèn)題。目前，解決可靠性的技術(shù)手段主要是數(shù)據(jù)冗余技術(shù)，比如RAID技術(shù)，通過(guò)記錄

2、額外的數(shù)據(jù)校驗(yàn)來(lái)達(dá)到數(shù)據(jù)恢復(fù)的目的。單盤(pán)由于受限于生產(chǎn)工藝，容量總是有限的，而用戶往往希望得到更大的容量，因此硬盤(pán)陣列必須完成對(duì)多個(gè)單盤(pán)容量的整合，呈現(xiàn)給用戶大的虛擬的硬盤(pán)。本質(zhì)上，這就是一種虛擬化。我們知道，物理硬盤(pán)的存取速度取決于機(jī)械馬達(dá)旋轉(zhuǎn)的速度，考慮到可靠性、散熱、能耗、噪音等因素，轉(zhuǎn)速不可能做的太高，目前硬盤(pán)速度一般在5000RPM-20000RPM之間，因此單盤(pán)的存取速度（帶寬）總是很小，陣列需要有效的將多個(gè)物理帶寬整合。2高端存儲(chǔ)陣列架構(gòu)如果按照控制器的個(gè)數(shù)來(lái)對(duì)陣列架構(gòu)進(jìn)行分類，高端陣列可以分為雙控（參見(jiàn)圖1）與多控兩大類。2.1雙控架構(gòu)典型的雙控

3、系統(tǒng)中（參見(jiàn)圖1），兩個(gè)控制板通過(guò)鏡像通道連接在一起，進(jìn)行數(shù)據(jù)交換。每個(gè)控制板的后端分別接入物理硬盤(pán)的環(huán)路（通常物理硬盤(pán)是雙端口，剛好可以接成兩個(gè)環(huán)路，見(jiàn)圖1），主機(jī)可以通過(guò)任何一個(gè)控制板接入存儲(chǔ)陣列，并看見(jiàn)統(tǒng)一的LUN空間。從軟件上而言，由于只需要考慮兩個(gè)控制器，和多控系統(tǒng)相比起來(lái)，雙控系統(tǒng)的實(shí)現(xiàn)較為簡(jiǎn)單。圖1：雙控架構(gòu)目前，在所有的高端存儲(chǔ)陣列中，采取雙控架構(gòu)的只有IBM2009年推出的DS8000系列。另外，在中低端存儲(chǔ)陣列上基本上都采用雙控架構(gòu)。由于雙控系統(tǒng)受限于諸如計(jì)算資源、內(nèi)存、帶寬物理限制等因素，性能不可能做到太高，所以可以見(jiàn)到的絕大多數(shù)高端陣列都

4、采取的是多控系統(tǒng)。1.1多控陣列架構(gòu)基于多控的陣列主要是一些高端陣列系統(tǒng)，比如EMC的VMAX、HDS的VSP，IBM的XIV、HP的P10000和華為的HVS等產(chǎn)品。對(duì)多控系統(tǒng)按照連接拓?fù)溥M(jìn)行劃分，多控系統(tǒng)劃可以分為基于總線交換式的架構(gòu)、矩陣直連架構(gòu)、全互聯(lián)架構(gòu)、交換式架構(gòu)。如圖2展示了基于總線交換式架構(gòu)的邏輯結(jié)構(gòu)。目前已經(jīng)沒(méi)有廠家采用這種架構(gòu)，EMC和HDS的早期產(chǎn)品都曾經(jīng)采用這種架構(gòu)。該架構(gòu)的缺點(diǎn)是可擴(kuò)展性不強(qiáng)，且由于基于總線，存在總線爭(zhēng)用。如圖3是基于矩陣直連式的存儲(chǔ)陣列架構(gòu)，EMC的上一代產(chǎn)品DMX-4就是采用該架構(gòu)，該架構(gòu)的前端和后端采取矩陣式直接連

5、接，缺點(diǎn)是可擴(kuò)展性很差，同時(shí)由于連接信號(hào)線數(shù)目眾多，在一定程度上也降低了系統(tǒng)的可靠性，目前EMC已經(jīng)棄用該架構(gòu)。圖4描述的是基于交換式的架構(gòu)，該架構(gòu)通過(guò)交換ASIC將前端和后端連接進(jìn)行數(shù)據(jù)交換，相對(duì)于矩陣直連式，它具有更好的可擴(kuò)展性，但是問(wèn)題是如何減少交換時(shí)延和交換爭(zhēng)用。目前HDS的存儲(chǔ)系統(tǒng)采用的是該架構(gòu)。如圖5所示的全分布式架構(gòu)，該架構(gòu)將串行降至了最低，使得系統(tǒng)獲得了理論最高加速比。由于該系統(tǒng)的所有資源，包括計(jì)算資源，內(nèi)存資源，磁盤(pán)資源都分散的足夠開(kāi)，存在資源爭(zhēng)用的可能性極小，所以，圖5的系統(tǒng)具有更好的性能，更好的可擴(kuò)展性，同時(shí)也擁有更低的成本。目前市場(chǎng)上最新

6、一代高端存儲(chǔ)陣列HPP10000，EMC的VMAX40K，華為HVS都采用這種全分布式架構(gòu)。1高端陣列架構(gòu)實(shí)例分析-華為HVS圖6華為高端陣列HVS系統(tǒng)架構(gòu)華為HVS采用智能矩陣式系統(tǒng)架構(gòu)，如圖6所示，也是一種基于完全分布式的架構(gòu)，所有的計(jì)算資源（CPU），緩存，帶寬等資源都均勻分布于每個(gè)節(jié)點(diǎn)中，在該架構(gòu)下，不再存在全局緩存爭(zhēng)用問(wèn)題，串行化達(dá)到最低，使得系統(tǒng)獲得了理論最高加速比，具有更好的可擴(kuò)展性。華為HVS是目前業(yè)界擴(kuò)展能力最強(qiáng)，性能最高的高端陣列，最大可以擴(kuò)展到16個(gè)控制器，3TBCache,3216塊硬盤(pán)，隨機(jī)IOPS達(dá)到100萬(wàn)IOPS以上。1.1基于P

7、CIe的全交換架構(gòu)HVS的全交換架構(gòu)基于PCIe協(xié)議，PCIe協(xié)議是一種高性能、高帶寬，成熟、穩(wěn)定的串行通訊互連標(biāo)準(zhǔn)。HVS以雙平面PCIe交換作為節(jié)點(diǎn)間互連。這種架構(gòu)設(shè)計(jì)具有如下的優(yōu)點(diǎn)：l高可靠：所有部件全冗余，控制器間負(fù)載均衡和Failover，單個(gè)控制器失效不影響業(yè)務(wù)運(yùn)行l(wèi)高擴(kuò)展性：具備scale-out能力，從2個(gè)控制器起配，最多支持16個(gè)控制器，系統(tǒng)的容量、性能按需擴(kuò)展l高帶寬：整個(gè)交換平面可提供192GB/s的交換帶寬。l方便部署：HVS的PCIe鏈路通過(guò)光纖連接，同一HVS系列產(chǎn)品的機(jī)柜允許跨數(shù)十米進(jìn)行部署，允許布局在不同房間、甚至不同樓層。使得客

8、戶真正實(shí)現(xiàn)完全Scale