基于hdfs的時空數(shù)據(jù)共享與查詢隱私保護的研究與實現(xiàn)

《基于hdfs的時空數(shù)據(jù)共享與查詢隱私保護的研究與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、萬方數(shù)據(jù)分類號UDC密級學位論文基于HDFS的時空數(shù)據(jù)共享與查詢隱私保護的研究與實現(xiàn)作者姓名：指導教師：申請學位級別：學科專業(yè)名稱：論文提交日期：學位授予日期：評閱人：孟凡帥王波濤教授東北大學信息科學與工程學院碩士學科類別：工學計算機軟件與理論2014年6月論文答辯日期：2014年6月21日2014年7月答辯委員會主席喬建忠教授韓東紅副教授張大波教授東北大學2014年6月萬方數(shù)據(jù)AThesisinComputerSoftwareandTheory1IlllIIlllIJlliIl!!lllIIJY2987949ResearchandImplem

2、entationofSpatioTemporalDataSharingandQueryPrivacyProtectionBasedonHDFSByMengFanshuaiSupervisor：ProfessorWangBotaoNortheasternUniversityJune2014萬方數(shù)據(jù)獨創(chuàng)性聲明本人聲明，所呈交的學位論文是在導師的指導下完成的。論文中取得的研究成果除加以標注和致謝的地方外，不包含其他人己經(jīng)發(fā)表或撰寫過的研究成果，也不包括本人為獲得其他學位而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均己在論文中作了明確的說明

3、并表示謝=6■思。學位論文作者簽名：筮J屯腫1日期：≯口，壚．么．7q／學位論文版權使用授權書本學位論文作者和指導教師完全了解東北大學有關保留、使用學位論文的規(guī)定：即學校有權保留并向國家有關部門或機構(gòu)送交論文的復印件和磁盤，允許論文被查閱和借閱。本人同意東北大學可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索、交流。作者和導師同意網(wǎng)上交流的時間為作者獲得學位后：半年口一年口一年半口學位論文作者簽名：缸)乞171{7簽字日期：)l穸，午．∥．)，節(jié)1兩年吖導師簽名：工“乏濤簽字日期2擴／／4，6，上壚萬方數(shù)據(jù)東北大學碩士學位論文摘要基于HDF

4、S的時空數(shù)據(jù)共享與查詢隱私保護的研究與實現(xiàn)摘要伴隨著科技的發(fā)展，社會生活的信息化程度不斷提高，在每天的生產(chǎn)生活中都會產(chǎn)生大量的數(shù)據(jù)，如何有效地存儲并查詢這些數(shù)據(jù)對未來的生產(chǎn)生活有重要意義。近年來云計算與云存儲的興起為海量數(shù)據(jù)的存儲與查詢提供了更有效地解決方法，越來越多的應用開始向云端遷移。本文依托于“海洋環(huán)境信息計算與服務體系框架”的國家海洋公益項目。針對國家海洋局中海量時空數(shù)據(jù)存儲分散與管理復雜的特點，本文研究實現(xiàn)了基于Ⅷ)FS的時空數(shù)據(jù)共享系統(tǒng)；針對保護用戶時空信息查詢隱私的研究目標，本文實現(xiàn)了時空數(shù)據(jù)的查詢隱私保護算法?；贖DFS的分布

5、式文件共享系統(tǒng)的框架分為三層：基礎層、接口層、服務層?；A層使用ApacheMINA、Java、Mysql、HDFS實現(xiàn)，四者分別負責消息通信、數(shù)據(jù)傳輸、用戶信息存儲、數(shù)據(jù)存儲功能。接口層負責管理基礎層資源并向服務層提供服務接口，該層分為數(shù)據(jù)傳輸模塊、用戶管理模塊、文件管理模塊三個模塊。服務層負責系統(tǒng)的業(yè)務邏輯處理，該層解析用戶消息并調(diào)用接口層模塊提供的服務執(zhí)行用戶請求。本系統(tǒng)為每個用戶指定存儲空間，多個用戶可以共用同一存儲空間，同時共享里面的文件。海洋局存儲著海量時空信息，現(xiàn)有的隱私查詢算法在進行查詢時效率較低，針對這種不足本文提出了空間最近

6、鄰與空間范圍隱私查詢算法。本文在CPIR-V算法的基礎上提出了sCP瓜一v算法，該算法通過尋找潛在最近鄰點集的關系來壓縮計算矩陣，從而減少查詢時的計算代價與通信代價，該算法可以在服務端無法獲取查詢位置的前提下向用戶返回包含最近點的空間信息。通過對比試驗可以看出SCPIR．V算法在高斯分布與真實數(shù)據(jù)下可以提高查詢性能，在均勻數(shù)據(jù)下算法查詢性能在網(wǎng)格劃分較多時較好。本文將CPIR算法應用到空間范圍查詢中，并在樸素的空間范圍查詢算法的基礎上提出了基于分組的空間范圍查詢算法。實驗結(jié)果表明基于分組的查詢算法的通信代價沒有顯著增長，而服務端與客戶端計算性能

7、優(yōu)于樸素查詢算法。海洋數(shù)據(jù)中的時間信息會隨著數(shù)據(jù)的采集不斷的增長，現(xiàn)有的隱私數(shù)據(jù)查詢技術無法滿足用戶需求，為此本文提出了基于CPIR的時間信息隱私查詢算法與時間范圍隱私查詢算法。本文分析了時間信息的基本特征，通過改進樸素時間插入算法提出了基于動態(tài)調(diào)整的時間插入算法與基于動態(tài)哈希的時間插入算法。算法通過設置數(shù)據(jù)集的數(shù)目與排列方式使服務端無法判斷查詢內(nèi)容與查詢結(jié)果。最后本文將三種算法應用到時間范圍查一Tl—萬方數(shù)據(jù)東北大學碩士學位論文摘要詢中。本文對三種算法進行了實驗，當對單一時刻進行查詢時，動態(tài)哈希算法效率較高；進行范圍查詢時，在客戶端計算時間與

8、通信代價并不顯著增加的情況下，動態(tài)哈希算法服務端計算時間較短，隨著通信帶寬與客戶端計算能力的提高，動態(tài)哈希算法具有更好的性能。關鍵詞：數(shù)據(jù)共享；隱私保