linux技術(shù)構(gòu)架論文

《linux技術(shù)構(gòu)架論文》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、Linux技術(shù)構(gòu)架Linux源于1991年采用開發(fā)模式與質(zhì)量控制體質(zhì)，Linux是一種典型的宏內(nèi)核操作系統(tǒng)。從最初的不到一萬行代碼發(fā)展到現(xiàn)在的570萬行代碼，Linux幾乎可用于所有涉及計(jì)算機(jī)與控制的領(lǐng)域，在短短幾年內(nèi)得到了飛速迅猛的發(fā)展。在服務(wù)器、桌面、嵌入式系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用。然而，由于內(nèi)核過于龐大，反而失去了小型內(nèi)核在實(shí)時(shí)性方面的優(yōu)勢(shì)。目前，高性能計(jì)算已由傳統(tǒng)的主機(jī)方式逐漸向集群方式演變，如TOP500中，1998年只有2臺(tái)系統(tǒng)是集群方式，而到2003年已有208臺(tái)為集群系統(tǒng)。隨著高性能計(jì)算體

2、系結(jié)構(gòu)的發(fā)展變化，傳統(tǒng)的基于主機(jī)的存儲(chǔ)架構(gòu)已成為新的瓶頸，不能滿足集群系統(tǒng)的需求。集群的存儲(chǔ)系統(tǒng)必須有效解決兩個(gè)主要問題：（1）提供共享訪問數(shù)據(jù)，便于集群應(yīng)用程序的編寫和存儲(chǔ)的負(fù)載均衡；（2）提供高性能的存儲(chǔ)，在I/O級(jí)和數(shù)據(jù)吞吐率方面能滿足成百上千臺(tái)規(guī)模的Linux集群服務(wù)器聚合訪問的需求。目前，網(wǎng)絡(luò)化存儲(chǔ)已成為解決集群系統(tǒng)高性能存儲(chǔ)的有效技術(shù)途徑。一、國際上主要有兩類網(wǎng)絡(luò)化存儲(chǔ)架構(gòu)，它們是通過命令集來區(qū)分的。第一類是SAN（StorageAreaNetwork）結(jié)構(gòu)，它采用SCSI塊I/O的命令集，通過

3、在磁盤或FC（FiberChannel）級(jí)的數(shù)據(jù)訪問提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率，它具有高帶寬、低延遲的優(yōu)勢(shì)，在高性能計(jì)算中占有一席之地，如SGI的CXFS文件系統(tǒng)就是基于SAN實(shí)現(xiàn)高性能文件存儲(chǔ)的，但是由于SAN系統(tǒng)的價(jià)格較高，且可擴(kuò)展性較差，已不能滿足成千上萬個(gè)CPU規(guī)模的系統(tǒng)。第二類是NAS（NetworkAttachedStorage）結(jié)構(gòu)，它采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲(chǔ)，可擴(kuò)展性好、價(jià)格便宜、用戶易治理，如目前在集群計(jì)算中應(yīng)用較多的NF

4、S文件系統(tǒng)，但由于NAS的協(xié)議開銷高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用。針對(duì)Linux集群對(duì)存儲(chǔ)系統(tǒng)高性能和數(shù)據(jù)共享的需求，國外已開始研究全新的存儲(chǔ)架構(gòu)和新型文件系統(tǒng)，希望能有效結(jié)合SAN和NAS系統(tǒng)的優(yōu)點(diǎn)，支持直接訪問磁盤以提高性能，通過共享的文件和元數(shù)據(jù)以簡化治理，目前對(duì)象存儲(chǔ)文件系統(tǒng)已成為Linux集群系統(tǒng)高性能文件系統(tǒng)的研究熱點(diǎn)，如ClusterFileSystems公司的Lustre、Panasas公司的ActiveScale文件系統(tǒng)等。Lustre文件系統(tǒng)采用基于對(duì)象存儲(chǔ)技術(shù)，它于卡耐基

5、梅隆大學(xué)的Coda項(xiàng)目研究工作，2003年12月發(fā)布了Lustre1.0版，預(yù)計(jì)在2005年將發(fā)布2.0版。Lustre在美國能源部、LawrenceLivermore國家實(shí)驗(yàn)室，LosAlamos國家實(shí)驗(yàn)室，Sandia國家實(shí)驗(yàn)室，PacificNorthwest國家實(shí)驗(yàn)室的高性能計(jì)算系統(tǒng)中已得到了初步的應(yīng)用，IBM正在研制的BlueGene系統(tǒng)也將采用Lustre文件系統(tǒng)實(shí)現(xiàn)其高性能存儲(chǔ)。ActiveScale文件系統(tǒng)技術(shù)于卡耐基梅隆大學(xué)的Dr.GarthGibson，最早是由DARPA支持的NASD（

6、NetworkAttachedSecureDisks）項(xiàng)目，目前已是業(yè)界比較有影響力的對(duì)象存儲(chǔ)文件系統(tǒng)，榮獲了ComputerWorld2004年創(chuàng)新技術(shù)獎(jiǎng)。二、對(duì)象存儲(chǔ)文件系統(tǒng)1．對(duì)象存儲(chǔ)文件系統(tǒng)架構(gòu)對(duì)象存儲(chǔ)文件系統(tǒng)的核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對(duì)象存儲(chǔ)設(shè)備（Object-basedStorageDevice，OSD）構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備具有一定的智能，能夠自動(dòng)治理其上的數(shù)據(jù)分布，，對(duì)象存儲(chǔ)文件系統(tǒng)通常有以下幾部分組成。（1）對(duì)象對(duì)象是系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位

7、，一個(gè)對(duì)象實(shí)際上就是文件的數(shù)據(jù)和一組屬性的組合，這些屬性可以定義基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等，而傳統(tǒng)的存儲(chǔ)系統(tǒng)中用文件或塊作為基本的存儲(chǔ)單位，在塊存儲(chǔ)系統(tǒng)中還需要始終追蹤系統(tǒng)中每個(gè)塊的屬性，對(duì)象通過與存儲(chǔ)系統(tǒng)通信維護(hù)自己的屬性。在存儲(chǔ)設(shè)備中，所有對(duì)象都有一個(gè)對(duì)象標(biāo)識(shí)，通過對(duì)象標(biāo)識(shí)OSD命令訪問該對(duì)象。通常有多種類型的對(duì)象，存儲(chǔ)設(shè)備上的根對(duì)象標(biāo)識(shí)存儲(chǔ)設(shè)備和該設(shè)備的各種屬性，組對(duì)象是存儲(chǔ)設(shè)備上共享資源治理策略的對(duì)象集合等。（2）對(duì)象存儲(chǔ)設(shè)備對(duì)象存儲(chǔ)設(shè)備具有一定的智能，它有自己的CPU、內(nèi)存、網(wǎng)絡(luò)

8、和磁盤系統(tǒng)，目前國際上通常采用刀片式結(jié)構(gòu)實(shí)現(xiàn)對(duì)象存儲(chǔ)設(shè)備。OSD提供三個(gè)主要功能：數(shù)據(jù)存儲(chǔ)。OSD治理對(duì)象數(shù)據(jù)，并將它們放置在標(biāo)準(zhǔn)的磁盤系統(tǒng)上，OSD不提供塊接口訪問方式，Client請(qǐng)求數(shù)據(jù)時(shí)用對(duì)象ID、偏移進(jìn)行數(shù)據(jù)讀寫。智能分布。OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布，并支持?jǐn)?shù)據(jù)的預(yù)取。由于OSD可以智能地支持對(duì)象的預(yù)取，從而可以優(yōu)化磁盤的性能。每個(gè)對(duì)象元數(shù)據(jù)的治理。OSD治理存儲(chǔ)在其上對(duì)象的元數(shù)據(jù)，該元數(shù)