資源描述:
《面向iptv的分布式文件系統(tǒng)資源定位與調(diào)度模塊設計與實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關內(nèi)容在學術論文-天天文庫。
1、電子科技大學UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學位論文MASTERDISSERTATION論文題目面向IPTV的分布式文件系統(tǒng)資源定位與調(diào)度模塊設計與實現(xiàn)學科專業(yè)計算機系統(tǒng)結構指導教師段翰聰副教授作者姓名蒲廷志學號200820601067萬方數(shù)據(jù)分類號密級UDC注1學位論文面向IPTV的分布式文件系統(tǒng)資源定位與調(diào)度模塊設計與實現(xiàn)(題名和副題名)蒲廷志(作者姓名)指導教師姓名段翰聰副教授電子科技大學成都(職務、職稱、學位、單位名稱及地址)申請專業(yè)學位級別碩士專業(yè)名稱計算機系統(tǒng)結構論文提交日期2011.4論文
2、答辯日期2011.5學位授予單位和日期電子科技大學答辯委員會主席評閱人2011年月日注1:注明《國際十進分類法UDC》的類號。萬方數(shù)據(jù)獨創(chuàng)性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。據(jù)我所知,除了文中特別加以標注和致謝的地方外,論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果,也不包含為獲得電子科技大學或其它教育機構的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。簽名:日期:年月日關于論文使用授權的說明本學位論文作者完全了解電子科技大學有關保留、使用學位論文的規(guī)定,有權保留并向國家有
3、關部門或機構送交論文的復印件和磁盤,允許論文被查閱和借閱。本人授權電子科技大學可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索,可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。(保密的學位論文在解密后應遵守此規(guī)定)簽名:導師簽名:日期:年月日萬方數(shù)據(jù)摘要摘要隨著國家三網(wǎng)融合政策的推進,交互式網(wǎng)絡電視(InternetProtocolTelevision,IPTV)的重要地位日益顯現(xiàn),同時龐大的網(wǎng)絡用戶數(shù)也給IPTV帶來巨大的市場前景。傳統(tǒng)的解決方案在處理海量數(shù)據(jù)時的不足卻日益暴露,主要體現(xiàn)在:擴展性差,不能適應系統(tǒng)規(guī)模的動態(tài)變化;效率低下,用戶體驗度偏低;容易出
4、現(xiàn)單點失效問題,一個節(jié)點的故障導致整個系統(tǒng)服務的崩潰,這主要是集中式管理方式所造成的。本文首先對比分析了幾種主流的分布式文件系統(tǒng),結合國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢,根據(jù)IPTV應用場景,設計并實現(xiàn)了分層分布式文件系統(tǒng),重點研究其中的資源定位模塊和資源調(diào)度模塊。在架構上廣泛采用分布式管理方式,系統(tǒng)中所有功能都是由一個服務器集群負責,要么采用類似Chord的純分布式集群管理,要么采用Chubby的集群管理方式,這些都可以避免單點故障問題。為了提高元數(shù)據(jù)的可靠性,采用緩存部署方案,即系統(tǒng)從底層存儲服務器的磁盤上讀取元數(shù)據(jù)到緩存服務器的內(nèi)存中,用戶訪問緩存服務器而不是存儲服務器,避免
5、了節(jié)點故障帶來的災難性損失,并且能夠快速恢復。定位模塊的設計采用改進的一致性哈希設計,通過引入位置分組和虛擬節(jié)點技術,解決了標準的一致性哈希算法無法實現(xiàn)負載均衡和不能體現(xiàn)節(jié)點的異構性的問題。定位元數(shù)據(jù)時采用動態(tài)子樹方式,既便于數(shù)據(jù)的快速查詢又使得節(jié)點之間的數(shù)據(jù)遷移變得非常容易,便于實現(xiàn)負載均衡。調(diào)度模塊采用哈希十字鏈表組織緩存數(shù)據(jù),除了具有哈希自身所具有的快速查詢優(yōu)勢以外,還可以根據(jù)兩種關鍵字進行查找。緩存老化策略采用基于回歸預測的老化機制,充分利用了歷史數(shù)據(jù)的變化趨勢,避免了緩存污染問題和抖動現(xiàn)象。使用企業(yè)真實的業(yè)務數(shù)據(jù)進行測試,結果表明該算法能夠提高請求命中率,減少用
6、戶響應時間。關鍵詞:分布式,哈希鏈表,一致性哈希,回歸預測I萬方數(shù)據(jù)ABSTRACTABSTRACTWiththeadvancementoftripleplay,theroleofIPTV(InternetProtocolTelevision)becomesmoreandmoreimportant,andatthesametime,thelargenumberofInternetusersbringsahugemarketprospect.Theproblemsofconventionalresolutionsforhandlingmassdatabecomeincrea
7、singlyapparent,shownindetailas:poorextensionandcannotfitthedynamicchangeofsystemscale;lowefficiencyandpooruserexperience;probablesinglepointfailurethatthewholesystemservicestopifoneserverbreaksdown,whichiscausedmainlybycentralizedmanagement.Thispaperfirstlycomparesa