資源描述:
《emcisilon存儲(chǔ)系統(tǒng)在遙感影像數(shù)據(jù)庫中的應(yīng)用》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、EMCIsilon存儲(chǔ)系統(tǒng)在遙感影像數(shù)據(jù)庫中的應(yīng)用李博許躒彭希哲61206部隊(duì)摘要:本文主要闡述YEMC存儲(chǔ)系統(tǒng)在遙感影像數(shù)據(jù)庫的應(yīng)用情況,對(duì)EMCIsilon存儲(chǔ)的硬件架構(gòu)和操作系統(tǒng)進(jìn)行了詳細(xì)的介紹,并分別采用SATA硬盤、SAS硬盤和固態(tài)硬盤在萬兆網(wǎng)絡(luò)環(huán)境下,進(jìn)行讀寫存儲(chǔ)對(duì)比測(cè)試;為建立高效地、易于維護(hù)、擴(kuò)展的遙感影像數(shù)據(jù)庫提供參考。關(guān)鍵詞:遙感影像;EMC;Isilon;萬$匕網(wǎng);收稿日期:2017-06-05TheApplicationofEMCIsilonStorageSysteminRemoteSensingImageDatabaseLIBoXULiPENGXi_zh
2、ePLA61206Division;Abstract:ThisthesisexpoundstheapplicationofEMCstoragesysteminremotesensingimagedatabase,introducesthehardwarearchitectureandoperatingsystemofEMCIsilonstorage.ThroughcomparisontestingonusingSATAharddisk,SASharddiskandsolid-statedisktoreadandwritestoragesotofindthebestsolution
3、formeganetworkenvironment.Theresultwillprovideareferenceforanefficientandeasymethodtomaintainandexpandtheremotesensingimagedatabase.Keyword:RemoteSensingTmage;EMC;TsiIon;MegaNetwork;Received:2017-06—051前言隨著遙感影像獲取方式和能力的發(fā)展,影像數(shù)據(jù)體量也隨之越來越龐大,這使得網(wǎng)絡(luò)存儲(chǔ)技術(shù)在遙感影像數(shù)據(jù)庫方面獲得了大量的應(yīng)用機(jī)會(huì)。遙感影像數(shù)據(jù)庫對(duì)數(shù)據(jù)存儲(chǔ)要求也不斷提高,主要表現(xiàn)在讀寫
4、帶寬、容量擴(kuò)展、數(shù)據(jù)安全、管理成本幾個(gè)方面。當(dāng)前的基本存儲(chǔ)(SAN和NAS技術(shù))存在一定的技術(shù)結(jié)構(gòu)限制,存儲(chǔ)的設(shè)計(jì)往往不易于擴(kuò)展,而鏡像和RAID等傳統(tǒng)數(shù)據(jù)保護(hù)技術(shù)進(jìn)一步限制了擴(kuò)展。遙感影像獲取方式以及相關(guān)大數(shù)據(jù)技術(shù)的發(fā)展,遙感數(shù)據(jù)以及相關(guān)數(shù)據(jù)的數(shù)據(jù)容量逐年增加,為滿足這方面的容量需求,就不得不增加成木去擴(kuò)展存儲(chǔ)的數(shù)據(jù)容量,也不斷增加數(shù)據(jù)的丟失風(fēng)險(xiǎn),同吋這對(duì)于管理數(shù)據(jù)人員的要求也非常高。為了應(yīng)對(duì)這樣的技術(shù)難題,需要有一個(gè)全新的存儲(chǔ)平臺(tái),專門用于滿足遙感影像需求而易擴(kuò)展的平臺(tái)。存儲(chǔ)平臺(tái)的擴(kuò)展必須以經(jīng)濟(jì)高效、無中斷、可預(yù)測(cè)的方式進(jìn)行,并且在容量和性能提高時(shí)必須仍然易于管理和維護(hù)。這種
5、可擴(kuò)展性必須具有無縫增長并不增加復(fù)雜性的能力。2Isilon集群存儲(chǔ)架構(gòu)2.1Isilon硬件架構(gòu)現(xiàn)在較為流行的集群架構(gòu)采用了搭積木的方式來滿足高端服務(wù)器的處理性能耍求。構(gòu)成這種集群系統(tǒng)的個(gè)體木身性能并不高,但是把成百上千計(jì)算資源聚合起來,其提供的處理能力可高于高端的服務(wù)器更高。0前世界上最快的計(jì)算系統(tǒng)也是這種架構(gòu)。這是一種開放式的架構(gòu),當(dāng)這種架構(gòu)應(yīng)用到存儲(chǔ)設(shè)備上,就實(shí)現(xiàn)了高效且擴(kuò)展性強(qiáng)的存儲(chǔ)集群架構(gòu)。EMC公司的Isilon系列集群存儲(chǔ)作為這類集群架構(gòu)的典型代表,在業(yè)內(nèi)具有一定技術(shù)優(yōu)勢(shì),圖1所示為其網(wǎng)絡(luò)結(jié)構(gòu)圖。NFSCIFSFI圖1Isilon系列網(wǎng)絡(luò)結(jié)構(gòu)圖下載原圖Isilon
6、集群存儲(chǔ)由三部分組成:(1)應(yīng)用層。TsiIon集群存儲(chǔ)提供萬兆光纖等多種網(wǎng)絡(luò)接口,客戶端可以安裝萬兆網(wǎng)卡和光纖模塊,通過光纖交換機(jī)連接Isilon集群存儲(chǔ)。(2)以太網(wǎng)層。連接集群存儲(chǔ)和客戶端。在萬兆光纖交換機(jī)的連接下,用戶可以更快速地訪問Isilon集群存儲(chǔ)里的數(shù)據(jù),Isilon集群存儲(chǔ)對(duì)于各種網(wǎng)絡(luò)接口有著良好的支持。(3)集群存儲(chǔ)層。TsiIon集群存儲(chǔ)是由多個(gè)節(jié)點(diǎn)組成,節(jié)點(diǎn)既有計(jì)算節(jié)點(diǎn),也是存儲(chǔ)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)包含內(nèi)存、CPU、網(wǎng)絡(luò)、NVRAM、Infiniband接門和存儲(chǔ)介質(zhì)。目前,集群最多可以由144個(gè)節(jié)點(diǎn)組成,單個(gè)集群全局緩存超過13.8TB,單個(gè)文件系統(tǒng)大小超過1
7、5.5PB,單個(gè)文件系統(tǒng)吞吐達(dá)85GB/S。2.2Isilon的操作系統(tǒng)OneFSOneFS是EMCTsilon的內(nèi)核操作系統(tǒng),也是整個(gè)集群存儲(chǔ)最重要的設(shè)計(jì)。它可以將傳統(tǒng)的存儲(chǔ)體系結(jié)構(gòu)即文件系統(tǒng)、卷管理和RATD,整合到一?起,形成一個(gè)統(tǒng)一的存儲(chǔ)管理平臺(tái),從而降低管理數(shù)據(jù)的復(fù)雜度。在這個(gè)平臺(tái)下,Isilon的橫向擴(kuò)展能力得到充分發(fā)揮,硬件可以是不同硬件廠商生產(chǎn)的企業(yè)級(jí)組件,OneFS對(duì)這些組件進(jìn)行整合。OneFS支持?jǐn)?shù)據(jù)保護(hù)和自動(dòng)數(shù)據(jù)平衡及遷移,無需關(guān)機(jī)便可以增加新的組件,從而提