面向高鐵的數據壓縮及趨勢關聯(lián)分析算法研究

《面向高鐵的數據壓縮及趨勢關聯(lián)分析算法研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、分類號UDC密級學號1308120732碩士學位論文面向高鐵的數據壓縮及趨勢關聯(lián)分析算法研究李帆學科門類：工學學科名稱：計算機系統(tǒng)結構指導教師：王彬副教授申請日期：2016年4月摘要論文題目：面向高鐵的數據壓縮及趨勢關聯(lián)分析算法研究學科專業(yè)：計算機系統(tǒng)結構研究生：李帆簽名：指導教師：王彬副教授簽名：摘要為保證高速列車正常運行，大量傳感器被安裝在列車各部位，時刻監(jiān)測列車運行狀態(tài)。若能從列車監(jiān)測數據出發(fā)通過部件間的狀態(tài)關聯(lián)性發(fā)現其他部件可能存在的問題，及時安排檢修，為列車運行狀態(tài)的評估和監(jiān)測提供依據，減少列車運行故障。列車監(jiān)測數據屬性豐富，數據量大。因此，本文為

2、了從列車狀態(tài)中發(fā)現屬性間的趨勢關聯(lián)性，從列車監(jiān)測數據出發(fā)，進行了兩方面的研究：1）解決大量監(jiān)測數據的存儲問題；2）挖掘監(jiān)測數據屬性間的趨勢關聯(lián)性，為列車運行狀態(tài)的評估和監(jiān)測提供有利依據。具體研究如下：首先，為解決監(jiān)測數據存儲問題中的大容量問題，分析監(jiān)測數據由Double數據構成的特點，在研究面向Float型數據的尾數整型化（ThinkMantissaasInteger,TMI）算法的基礎上提出了Double型尾數整型化（DoubleThinkMantissaasInteger,DTMI）壓縮算法，實驗結果證明DTMI與通用壓縮算法相比具有較高的壓縮效率。為進

3、一步提高壓縮速度，在DTMI的基礎上提出了并行化DTMI（ParallelDoubleThinkMantissaasInteger,P-DTMI）算法。實驗表明P-DTMI對比DTMI算法較好地提高了處理速度。其次，為了挖掘監(jiān)測數據屬性間的趨勢關聯(lián)關系，選取FP-Growth算法進行屬性間趨勢關聯(lián)性挖掘。首先，由于監(jiān)測數據在某時刻可能存在缺失，采用鄰近插值法對缺失項進行差值填補；采用i和-i的原則對源數據進行了趨勢化表達。其次，為了除去無效強關聯(lián)規(guī)則，引入了置信度和提升度雙約束條件，減少了關聯(lián)關系誤識別的情況。最后，針對大量數據輸入情況下，FP-Growth

4、算法單機運行性能降低、甚至無法運行的問題，在Hadoop集群環(huán)境下對FP-Growth算法進行并行化研究。實驗表明，實驗所得的監(jiān)測數據屬性間趨勢關聯(lián)性與已知的實際經驗相符，說明了算法的可用性；并行FP-Growth算法保證了在大量數據輸入時的正常運行，并具有較快的運算速度；避免了少量數據關聯(lián)分析可能造成的局限性，并可從監(jiān)測數據中獲取到有價值的信息。最后，應用本文研究的數據壓縮算法和趨勢關聯(lián)性挖掘算法，設計了高鐵數據存儲與趨勢關聯(lián)性分析的實施方案和原型軟件系統(tǒng)，驗證了算法的可用性，并為類似系統(tǒng)開發(fā)提供了設計思路。關鍵詞：高鐵數據；DTMI無損壓縮；Hadoop

5、2；關聯(lián)規(guī)則挖掘；FP-Growth算法I西安理工大學碩士學位論文本研究得到國家自然科學基金(U1334211，U1534208)的資助。IIAbstractTitle:RESEARCHONDATACOMPRESSIONANDTRENDASSOCIATIONANALYSISALGORITHMFORHIGH-SPEEDTRAINMajor:ComputerArchitectureName:FanLISignature:Supervisor:Associate.Prof.BinWANGSignature:AbstractInordertoensurethenor

6、maloperationofhigh-speedtrain,alotofsensorsareinstalledinthetraintoconstantlymonitortrainrunningstatus.Ifthepossibleexistedproblemsofothercomponentscanbediscoveredaccordingtothestateassociationsamongcomponentsfromtrainmonitoringdata,thentimelymaintenancecanbearranged,whichcanprovid

7、eabasisforassessingandmonitoringthestatusofhigh-speedtrainoperation,andalsoreducetrainrunningfault.Trainmonitoringdatahasawealthofattributesandthenumberofdataislarge.Therefore,inordertofindoutthetrendassociationbetweenattributesfromthetrainstatus,thefollowingtwoaspectsoftrainmonito

8、ringdataarestudiedinthisth