資源描述：
《linux技術(shù)構(gòu)架論文》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、Linux技術(shù)構(gòu)架Linux源于1991年采用開發(fā)模式與質(zhì)量控制體質(zhì)，Linux是一種典型的宏內(nèi)核操作系統(tǒng)。從最初的不到一萬行代碼發(fā)展到現(xiàn)在的570萬行代碼，Linux幾乎可用于所有涉及計算機(jī)與控制的領(lǐng)域，在短短幾年內(nèi)得到了飛速迅猛的發(fā)展。在服務(wù)器、桌面、嵌入式系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用。然而，由于內(nèi)核過于龐大，反而失去了小型內(nèi)核在實時性方面的優(yōu)勢。目前，高性能計算已由傳統(tǒng)的主機(jī)方式逐漸向集群方式演變，如TOP500中，1998年只有2臺系統(tǒng)是集群方式，而到2003年已有208臺為集群系統(tǒng)。隨著高性能計算體
2、系結(jié)構(gòu)的發(fā)展變化，傳統(tǒng)的基于主機(jī)的存儲架構(gòu)已成為新的瓶頸，不能滿足集群系統(tǒng)的需求。集群的存儲系統(tǒng)必須有效解決兩個主要問題：（1）提供共享訪問數(shù)據(jù)，便于集群應(yīng)用程序的編寫和存儲的負(fù)載均衡；（2）提供高性能的存儲，在I/O級和數(shù)據(jù)吞吐率方面能滿足成百上千臺規(guī)模的Linux集群服務(wù)器聚合訪問的需求。目前，網(wǎng)絡(luò)化存儲已成為解決集群系統(tǒng)高性能存儲的有效技術(shù)途徑。一、國際上主要有兩類網(wǎng)絡(luò)化存儲架構(gòu)，它們是通過命令集來區(qū)分的。第一類是SAN（StorageAreaNetwork）結(jié)構(gòu)，它采用SCSI塊I/O的命令集，通過
3、在磁盤或FC（FiberChannel）級的數(shù)據(jù)訪問提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率，它具有高帶寬、低延遲的優(yōu)勢，在高性能計算中占有一席之地，如SGI的CXFS文件系統(tǒng)就是基于SAN實現(xiàn)高性能文件存儲的，但是由于SAN系統(tǒng)的價格較高，且可擴(kuò)展性較差，已不能滿足成千上萬個CPU規(guī)模的系統(tǒng)。第二類是NAS（NetworkAttachedStorage）結(jié)構(gòu)，它采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實現(xiàn)網(wǎng)絡(luò)化存儲，可擴(kuò)展性好、價格便宜、用戶易治理，如目前在集群計算中應(yīng)用較多的NF
4、S文件系統(tǒng)，但由于NAS的協(xié)議開銷高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用。針對Linux集群對存儲系統(tǒng)高性能和數(shù)據(jù)共享的需求，國外已開始研究全新的存儲架構(gòu)和新型文件系統(tǒng)，希望能有效結(jié)合SAN和NAS系統(tǒng)的優(yōu)點，支持直接訪問磁盤以提高性能，通過共享的文件和元數(shù)據(jù)以簡化治理，目前對象存儲文件系統(tǒng)已成為Linux集群系統(tǒng)高性能文件系統(tǒng)的研究熱點，如ClusterFileSystems公司的Lustre、Panasas公司的ActiveScale文件系統(tǒng)等。Lustre文件系統(tǒng)采用基于對象存儲技術(shù)，它于卡耐基
5、梅隆大學(xué)的Coda項目研究工作，2003年12月發(fā)布了Lustre1.0版，預(yù)計在2005年將發(fā)布2.0版。Lustre在美國能源部、LawrenceLivermore國家實驗室，LosAlamos國家實驗室，Sandia國家實驗室，PacificNorthwest國家實驗室的高性能計算系統(tǒng)中已得到了初步的應(yīng)用，IBM正在研制的BlueGene系統(tǒng)也將采用Lustre文件系統(tǒng)實現(xiàn)其高性能存儲。ActiveScale文件系統(tǒng)技術(shù)于卡耐基梅隆大學(xué)的Dr.GarthGibson，最早是由DARPA支持的NASD（
6、NetworkAttachedSecureDisks）項目，目前已是業(yè)界比較有影響力的對象存儲文件系統(tǒng)，榮獲了ComputerWorld2004年創(chuàng)新技術(shù)獎。二、對象存儲文件系統(tǒng)1．對象存儲文件系統(tǒng)架構(gòu)對象存儲文件系統(tǒng)的核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對象存儲設(shè)備（Object-basedStorageDevice，OSD）構(gòu)建存儲系統(tǒng)，每個對象存儲設(shè)備具有一定的智能，能夠自動治理其上的數(shù)據(jù)分布，，對象存儲文件系統(tǒng)通常有以下幾部分組成。（1）對象對象是系統(tǒng)中數(shù)據(jù)存儲的基本單位
7、，一個對象實際上就是文件的數(shù)據(jù)和一組屬性的組合，這些屬性可以定義基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等，而傳統(tǒng)的存儲系統(tǒng)中用文件或塊作為基本的存儲單位，在塊存儲系統(tǒng)中還需要始終追蹤系統(tǒng)中每個塊的屬性，對象通過與存儲系統(tǒng)通信維護(hù)自己的屬性。在存儲設(shè)備中，所有對象都有一個對象標(biāo)識，通過對象標(biāo)識OSD命令訪問該對象。通常有多種類型的對象，存儲設(shè)備上的根對象標(biāo)識存儲設(shè)備和該設(shè)備的各種屬性，組對象是存儲設(shè)備上共享資源治理策略的對象集合等。（2）對象存儲設(shè)備對象存儲設(shè)備具有一定的智能，它有自己的CPU、內(nèi)存、網(wǎng)絡(luò)
8、和磁盤系統(tǒng)，目前國際上通常采用刀片式結(jié)構(gòu)實現(xiàn)對象存儲設(shè)備。OSD提供三個主要功能：數(shù)據(jù)存儲。OSD治理對象數(shù)據(jù)，并將它們放置在標(biāo)準(zhǔn)的磁盤系統(tǒng)上，OSD不提供塊接口訪問方式，Client請求數(shù)據(jù)時用對象ID、偏移進(jìn)行數(shù)據(jù)讀寫。智能分布。OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布，并支持?jǐn)?shù)據(jù)的預(yù)取。由于OSD可以智能地支持對象的預(yù)取，從而可以優(yōu)化磁盤的性能。每個對象元數(shù)據(jù)的治理。OSD治理存儲在其上對象的元數(shù)據(jù)，該元數(shù)
