資源描述:
《web日志挖掘的相關(guān)技術(shù)研究》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、西南交通大學(xué)碩士學(xué)位論文Web日志挖掘的相關(guān)技術(shù)研究姓名:郭艷軍申請學(xué)位級別:碩士專業(yè):計算機(jī)應(yīng)用技術(shù)指導(dǎo)教師:戴齊20080501西南交通大學(xué)碩士研究生學(xué)位論文第1頁摘要隨著Internet的迅速發(fā)展和不斷普及,Web日志資源越來越多,如何分析和利用這些海量數(shù)據(jù)是當(dāng)前突出的問題。Web日志挖掘是網(wǎng)絡(luò)信息處理的一種新的技術(shù),也是數(shù)據(jù)挖掘在Intemet領(lǐng)域的一個重要應(yīng)用。Web日志挖掘是將數(shù)據(jù)挖掘技術(shù)用于Web服務(wù)器日志以獲取有規(guī)律性的知識和用戶的訪問行為模式,從而改善Web站點(diǎn)的組織結(jié)構(gòu),提高站點(diǎn)的
2、訪問質(zhì)量,改進(jìn)網(wǎng)站的性能。數(shù)據(jù)預(yù)處理是Web日志挖掘的重要環(huán)節(jié),它決定模式發(fā)現(xiàn)和模式分析算法的性能。Web日志預(yù)處理主要包括5個環(huán)節(jié):數(shù)據(jù)清理、用戶識別、會話識別、路徑補(bǔ)充和事務(wù)識別。本文對Web日志預(yù)處理的各個環(huán)節(jié)進(jìn)行了研究,并介紹了各個環(huán)節(jié)的相關(guān)方法。在分析目前會話構(gòu)造算法的基礎(chǔ)上提出了將兩種時間窗口結(jié)合來構(gòu)造會話的方法。頻繁序列模式挖掘是Web日志挖掘的一個重要研究方向,由于類Apriroi的序列模式挖掘算法要掃描序列數(shù)據(jù)庫多次,且會產(chǎn)生龐大的候選集。本文采用了WAP.Tree結(jié)構(gòu)來存儲事務(wù)序列
3、,只需掃描數(shù)據(jù)庫兩次,由于WAP.Mine算法要遞歸的產(chǎn)生條件子樹,耗費(fèi)內(nèi)存空間。針對在WAP.Tree樹上的挖掘算法WAP.Mine的不足,提出了基于WAP.Tree的新挖掘算法NWAP.Mine算法,實驗證明了算法的有效性。針對現(xiàn)有的序列模式挖掘算法沒有考慮網(wǎng)頁的權(quán)重,提出了基于平均停留時間的興趣度定義,針對現(xiàn)有網(wǎng)頁興趣度存在的不足,提出了一種改進(jìn)的網(wǎng)頁興趣度,并將該興趣度作為權(quán)重應(yīng)用到權(quán)重序列模式挖掘算法,找出用戶感興趣的訪問路徑。通過實驗表明將改進(jìn)后的興趣度應(yīng)用于序列模式挖掘能得到更能體現(xiàn)用戶
4、訪問行為的訪問模式。關(guān)鍵詞:Web日志挖掘:數(shù)據(jù)預(yù)處理;序列模式;興趣度;訪問模式樹西南交通大學(xué)碩士研究生學(xué)位論文第1I頁AbstractWiththerapiddevelopmentandincreasingpopularizationoftheIntemet,therearemoreandmoreWeblogresourcesavailablleontheweb.Howtoanalyzeandusethishugeamountofdatahasbecomeaseriousproblematpres
5、ent.WebLogMiningiSanewtechniquefornetworkinformationprocessing,andanimportantapplicationofdataminingontheinternet.WebLogMiningisanapplicationofdatamininginwebserverlogtoobtainthepatternandtheaccessbehaviorialmodeoftheusers.Thishelpstoimprovewebsitestruc
6、ture,itsaccessqualityanditsperformances.DatapreprocessingisanimportantstepoftheWebLogMining,whichdeterminestheperformanceofpatternrecognitionandpatternanalysisalgorithm.Weblogpreprocessingconsistsofdatacleanup,userrecognition,dialogrecognition,pathcompl
7、ementandtransactionrecognition.ThisthesisstudiedeachindividualstepsoftheWeblogpreprocessing,andintroducedtherelaventmethodstoeachparts.Basedontheanalysisforthecurrentdialogstructuralalgorithms,amethodforestabilishingadialogbycombiningtwotimewindowswaspr
8、esented.FrequentSequentialPatternMiningisallimportantresearchfieldofWebLogMining.SincethesequentialpatternminingalgorithmoftheclassApriroineedstostallsequencedatabasemultipletimes,whichproducesenormoussetsofcandidatedata,WAP—Tree