資源描述：
《無監(jiān)督異常檢測方法研究及其應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、電子科技大學(xué)UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學(xué)位論文MASTERTHESIS論文題目無監(jiān)督異常檢測方法研究及其應(yīng)用學(xué)科專業(yè)計算機軟件與理論學(xué)號201521060311作者姓名劉鑫指導(dǎo)教師董強副教授分類號密級注1UDC學(xué)位論文無監(jiān)督異常檢測方法研究及其應(yīng)用（題名和副題名）劉鑫（作者姓名）指導(dǎo)教師董強副教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請學(xué)位級別碩士學(xué)科專業(yè)計算機軟件與理論提交論文日期2018.03.23論文答辯日期2018.05.18學(xué)位授予單位和日期電子科技
2、大學(xué)2018年06月答辯委員會主席評閱人注1：注明《國際十進(jìn)分類法UDC》的類號。ResearchonUnsupervisedAnomalyDetectionAlgorithmandApplicationAMasterDissertationSubmittedtoUniversityofElectronicScienceandTechnologyofChinaDiscipline:ComputersoftwareandtheoryAuthor:XinLiuSupervisor:A.Prof.DongQiangSchool:Schoolof
3、ComputerScience&Engineering摘要摘要根據(jù)Hawkins對于異常的定義：“異常是遠(yuǎn)離其他觀測數(shù)據(jù)，并且產(chǎn)生機制與正常數(shù)據(jù)不同的樣本數(shù)據(jù)”，可以得出異常檢測是對數(shù)據(jù)中不同于正常行為的異常數(shù)據(jù)模式的檢測和發(fā)現(xiàn)。在網(wǎng)絡(luò)環(huán)境、復(fù)雜機器系統(tǒng)、氣象信息系統(tǒng)等系統(tǒng)中，數(shù)據(jù)模式往往可以歸納成兩種形式，一種是正常，一種是異常。在這些系統(tǒng)中，異常模式往往包含了重要的信息，及早發(fā)現(xiàn)異常模式可以規(guī)避已知或者未知的風(fēng)險，同時提高工作效率。目前異常檢測技術(shù)已經(jīng)大量應(yīng)用到各個領(lǐng)域，例如網(wǎng)絡(luò)入侵檢測，信用卡欺詐檢測、復(fù)雜系統(tǒng)中的故障檢測與修復(fù)和氣
4、象異常檢測等。識別，理解和預(yù)測數(shù)據(jù)中的異常已經(jīng)成為現(xiàn)代數(shù)據(jù)挖掘的關(guān)鍵支柱之一。在大數(shù)據(jù)環(huán)境下，人們比以往更加關(guān)注能夠快速從全體數(shù)據(jù)中獲得有價值信息的方法。因此無監(jiān)督異常檢測算法更加需要關(guān)注異常的發(fā)現(xiàn)效率和在各類型數(shù)據(jù)情況下算法的可適應(yīng)性問題。本課題旨在通過對以往無監(jiān)督異常檢測算法優(yōu)缺點的研究與分析，提出一種基于無監(jiān)督?jīng)Q策樹的異常檢測算法。本文的主要研究內(nèi)容包括以下三個部分：1、國內(nèi)外異常檢測算法比較研究。此部分是本課題研究的邏輯起點。通過該部分對異常檢測算法的背景研究與分析可以找出現(xiàn)有算法的優(yōu)點與不足，從而總結(jié)歸納出新的算法。2、無監(jiān)督異
5、常檢測算法的提出與實驗。此部分基于第一部分的調(diào)研，提出一種結(jié)合統(tǒng)計學(xué)知識和決策樹構(gòu)建方法的新的無監(jiān)督?jīng)Q策樹算法。該方法利用數(shù)據(jù)在特征上的分布信息找出決策樹分支節(jié)點的最優(yōu)分割點。實驗結(jié)果表明，該方法可以獲得比現(xiàn)有通用方法更好的檢測效果。同時該方法相較于現(xiàn)有方法，對數(shù)據(jù)具有更強的適應(yīng)性。3、決策樹加速算法的提出與實驗。為了使得決策樹算法在大樣本下依然有較高的執(zhí)行效率，提出一種基于梯度的決策樹找最優(yōu)分割點的方法。該方法利用可分性的梯度信息來指導(dǎo)跳過不重要分割點處的可分性計算，減少了大量的計算量。實驗表明該方法在減少大量計算量的同時，并不會降低算
6、法精度。關(guān)鍵詞：異常檢測，統(tǒng)計學(xué)習(xí)，決策樹算法，決策樹加速算法IABSTRACTABSTRACTAccordingtoHawkins'definitionoftheanomaly,“Theanomalyisthedatathatisdifferentfromtheotherobservationsandproducedbydifferentmechanisms.”.Therefore,anomalydetectionisthedetectionanddiscoveryofabnormaldatapatternsindatathatared
7、ifferentfromnormalbehavior.Inthenetworkenvironment,complexmachinesystems,weatherinformationsystemsandothersystems,theconditionsinthesesystemscanoftenbesummedupintwoforms,oneisnormal,anotherisabnormal.Inthesesystems,thepatternsofabnormaloftencontainimportantinformation.Wec
8、ansometimesavoidcatastrophicrisks,improvingworkefficiencyandsoonifwehasdetectedpatternsofabnorma
