資源描述:
《基于Hadoop的異常傳感數(shù)據(jù)時間序列檢測.pdf》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、第27卷第12期傳感技術(shù)學報Vo1.27No.122014年12月CHINESEJOURNALOFSENSORSANDACTUATORSDec.2014AbnormalTimeSeriesDetectioninWirelessSensorNetworkBasedonHadoopZHANGJianping,LIBin,LIUXuejun,HU(CollegeofElectronicandInformationEngineering,NanjingTechUniversity,Nanjing211816,China)Abstract:I
2、nwirelesssensornetwork,theresearchofabnormaltimeseriesdetectionisofgreatsignificance.Duetothepoortimeeficiencyoftraditionalresearchunderbigdata,thispaperproposesanalgorithmaboutabnormaltimeseriesdetectionbasedonHadoop.Inthispaper.timeseriesarepreprocessedfirstlyandthen
3、theDTWalgorithmiscalledduringMapReduceoperationofHadooptorealizetheparallelizationcalculationofDTWdistance.Thismeas—ureimprovesthedetectionrategreatly.Meanwhile,tosolvethebottleneckofcomputationalcomplexityofclassicalDTWandthepoorprecisionoftheclassicalconstraints.thep
4、aperalsoproposeslocallyrelevantconstraintsbasedonsalientfeaturealignments.Itconstraintsthewarpingpathlocallytoreducethecomplexityoftimeandspacefurther,italsoensurestheprecisionofthealgorithmatthesametime.Theresultsdemonstratethatthisalgorithmnotonlydecreasesthetimecons
5、umption,butalsokeepsahighprecision.Keywords:wirelesssensornetwork;abnormaltimeseries;Hadoop;locallyconstraints;dynamictimewarpingEEACC:7230doi:10.3969/j.issn.1004-1699.2014.12.014基于Hadoop的異常傳感數(shù)據(jù)時間序列檢測術(shù)張建平,李斌,劉學軍,胡平(南京工業(yè)大學電子與信息工程學院,南京211816)摘要:無線傳感器網(wǎng)絡中,異常時間序列的研究具有十分重要的意
6、義。針對傳統(tǒng)研究在海量數(shù)據(jù)環(huán)境中時間效率低下的問題,提出了基于Hadoop的異常時間序列檢測算法。首先對時間序列進行預處理,然后在Hadoop的MapReduce操作中調(diào)用動態(tài)時問彎曲距離計算算法,實現(xiàn)了DTW距離計算的并行化,從而大大提高檢測速度。同時針對傳統(tǒng)DTW算法計算復雜度瓶頸問題以及傳統(tǒng)約束方法準確率較低問題,提出了基于顯著特征匹配的局部約束算法,對彎曲路徑進行局部限制,在確保準確性的同時進一步降低了時間、空間復雜度。Hadoop平臺下實驗結(jié)果表明,該方法既提高了檢測速度,又保證了檢測準確率。關(guān)鍵詞:無線傳感器網(wǎng)絡;異常時
7、間序列;Hadoop;局部約束;動態(tài)時間彎曲中圖分類號:TP393文獻標識碼:A文章編號:1004-1699(2014)12-1659-07目前,物聯(lián)網(wǎng)技術(shù)作為一個新的技術(shù)熱點受到越性。DTW距離對那些帶有相似的底層模式但由了廣泛的關(guān)注。在物聯(lián)網(wǎng)系統(tǒng)中,對傳感器海量采于時間變形(如移位或延伸)彼此不同的序列具有樣數(shù)據(jù)的處理顯得尤為重要。每個傳感器節(jié)點采集很好的辨識度,因而大大提高了兩序列的檢測準確的數(shù)據(jù)可形成時間序列,而對時間序列的查詢及聚性,但其具有較高的時間復雜度,在當今大數(shù)據(jù)的環(huán)類在各種應用領(lǐng)域中也逐漸成為核心數(shù)據(jù)操作,如境下
8、尤顯力不從心。因此,本文提出了一種基于語言識別領(lǐng)域、入侵檢測領(lǐng)域、金融領(lǐng)域等。在眾多Hadoop的異常時間序列檢測方法,采用MapReduce的時間序列中,往往異常的時問序列是最具有研究機制對海量時間序列進行并行化處理,在提高檢測價值