資源描述：
《一種面向分布式文件系統(tǒng)的文件預(yù)取模型的設(shè)計與實(shí)現(xiàn)-論文.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。
1、第41卷第7期計算機(jī)科學(xué)Vo1．41NO．72014年7月ComputerScienceJuly2014一種面向分布式文件系統(tǒng)的文件預(yù)取模型的設(shè)計與實(shí)現(xiàn)師明。劉軼唐歌實(shí)。(北京航天飛行控制中心北京100094)(北京航空航天大學(xué)計算機(jī)學(xué)院中德聯(lián)合軟件研究所北京100191)(航天飛行動力學(xué)技術(shù)重點(diǎn)實(shí)驗(yàn)室北京100094)。摘要如何為上層應(yīng)用和計算提供穩(wěn)定高效的文件I／0性能，是分布式文件系統(tǒng)性能研究的熱點(diǎn)。文中分析分布式文件系統(tǒng)在設(shè)計機(jī)理上的共同特征，基于此提出一種通用型的啟發(fā)式文件預(yù)取模型，并選取HDFS平臺進(jìn)行系統(tǒng)實(shí)
2、現(xiàn)。啟發(fā)式文件預(yù)取對上層應(yīng)用透明，采用在文件系統(tǒng)內(nèi)部建立預(yù)取線程池的方法，以組成文件塊的數(shù)據(jù)存儲文件為預(yù)取單位，在分布式文件系統(tǒng)內(nèi)部實(shí)現(xiàn)。這種設(shè)計思路具有一定的普適性，適合推廣應(yīng)用于多種分布式文件系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，所述的啟發(fā)式文件預(yù)取，能夠有效提升分布式文件系統(tǒng)的I／O性能。關(guān)鍵詞分布式文件系統(tǒng)，文件預(yù)取，啟發(fā)式，HDFS中圖法分類號TP393文獻(xiàn)標(biāo)識碼ADOI10．118965．issrL1002—137X．2014．07．005DesignandImplementationofFilePrefetchingModu
3、leOrientedtoDistributedFileSystemSHIMing’。IdUYiTANGGe-shi·。(BeijingAerospaceControlCenter，Beijing100094，China)(Sino-GermanJointSoftwareInstitute，SchoolofComputerScienceandEngineering，BeihangUniversity，Beijing100191，China)(NationalLaboratoryofScienceandTechnologyo
4、nAerospaceFlightDynamics，Beijing100094，China)。AbstractHowtoprovideastableandefficientfileI／0performancefortheupperapplicationandcomputing，istheperformanceresearchhotspotorientedtodistributedfilesystem．Thispaperanalyzedthemechanisminthedesignofthedistributedfilesy
5、stemonthecommonfeatures，presentedageneral—purposefileprefetchingheuristicmodule，andse-lectedHDFSplatformsystemtoimplement．Theheuristicfileprefetchingmoduleservicestheupperapplicationandac—complishestheimplementationintheinterna1ofdistributedfilesystem，usingthemet
6、hodofestablishingprefetchingthreadpoolwithinthefilesystem，andthedatanotblockasprefetchingunit．Thisideahascertainuniversality，andissuitableforavarietyofdistributedfilesystems．Experimentalresultsshowthattheheuristicfileprefetchingmethodcanenhancethedistributedfiles
7、ystemI／Operfc)rmanceeffectively．KeywordsDistributedfilesystem，F(xiàn)ileprefetching，Heuristic，HDFS性，如圖片、音頻搜索的后臺服務(wù)。目前針對分布式文件系統(tǒng)1引言性能優(yōu)化的研究包括：Yue等l1]提出二級元數(shù)據(jù)管理方法來面向云計算的分布式文件系統(tǒng)諸如GFS、HDFS、GPFS、提高分布式文件系統(tǒng)的可用性；MackeyG．等l_2]對HDFS小DAFS、PVFS等，兼具存儲容量大、高聚合I／O性能、容錯性文件的元數(shù)據(jù)管理方式進(jìn)行優(yōu)化，以提高H
8、DFS對小文件的好等特點(diǎn)，在海量數(shù)據(jù)存儲的應(yīng)用領(lǐng)域獲得廣泛應(yīng)用。目前，存取效率；Yu等l_3]發(fā)現(xiàn)文件分布模型對聚合i／o帶寬有著顯集群節(jié)點(diǎn)硬件性能發(fā)展迅速，CPU計算能力與I／O速度的不著的影響，提出一種基于用戶視角的數(shù)據(jù)分布策略，并在其另匹配問題愈加嚴(yán)重，i／o性能難以滿足文件處理的需求，嚴(yán)重一篇論文l4中提出寫
