資源描述:
《試析基于web日志挖掘系統(tǒng)的設計與實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關內容在學術論文-天天文庫。
1、哈爾濱工程大學碩士學位論文基于Web日志挖掘系統(tǒng)的設計與實現(xiàn)姓名:劉鑫申請學位級別:碩士專業(yè):計算機應用技術指導教師:楊永田20060101哈爾濱工程大學碩士學位論文摘要隨著互聯(lián)網的迅速普及和廣泛應用,Web上產:生的信息也隨之飛速增長,如何從浩瀚的資料中挖掘出有價值的信息,受到各方面的關注。www網無論是在訪問量、規(guī)模上還是在網站設計的復雜度上都以驚人的速度增長著。像Web站點設計、Web服務設計和一些通過Web網站進行簡單的導航模式設計也都增大了設計的難度。為了更好地設計Web服務器,一個更好的
2、方式就是分析原來的網站是如何被利用的。日志數據的分析可以通過統(tǒng)計數據的形式,像統(tǒng)計經常被訪問的頁面集、統(tǒng)計經常需要分析的重要的表格數據、通過網站分析找出一般的訪問路徑模式等。Web日志挖掘就是運用數據挖掘的思想來對服務器日志進行分析處理,從而解決上醞提出的各種問題。本研究在簡述了Web日志挖掘的概念、研究內容、關鍵技術和目前的國內外研究狀況的基礎上,針對某區(qū)政府門戶網站的訪問日志,采用數據挖掘技術進行數據分析,從而找出用戶訪問規(guī)律和內容喜好,為改進網站結構和內容提供了決策支持。論文所做的主要工作是:
3、(11對Web日志的預處理進行了研究,給出了預處理的流程并分析了其中的難點;包括數據凈化、會話識別、用戶識別、路徑補充,并描述了預處理模型及其算法流程f21對其經典Apriori算法進行了剖析,提出了改進算法M.Apriori算法,并通過縮減數據項集的辦法來提高Apriori算法的執(zhí)行效率;(31對路徑遍歷模式挖掘進行了研究,例如最大向前路徑生成算法,頻繁遍歷路徑挖掘算法,最大頻繁遍歷挖掘算法,并嘗試將其用到某區(qū)政府網站的挖掘之中;(4)根據Apriori改進算法,通過修改源代碼的方式應用到Weka
4、挖掘工具中;用改進后的Weka挖掘工具對該政府網站同志進行挖掘,依據挖掘結果給出針對該區(qū)政府門戶網站的改進建議。關鍵詞:Web只志挖掘,關聯(lián)規(guī)則,路徑遍歷模式,Apriori算法,Weka哈爾濱1程人學碩十學位論文ABSTRACTAsthefastdevelopingandspreadingofInternet,Webusageinformationgrowsquickly.Peoplebegintopaycloseattentiontominingva]uableinformationfromla
5、rgeamountofdata.TheWorldWideWeb(WWW)centihuestogrowatanastoundingrateinboththesheervolumeoftrafficandtheSizeandcomplexityofWebsites.ThecomplexityoftaskssuckasWebsitedesign,Webserverdesign,andofsimplynavigatingthroughaWebsitehaveincreasedalongwiththiSgr
6、owth.AnimportantinputtothesedesigntasksiStheanalysiSofhowaWebsiteiSbeingused.LoganalysiSincludesstraightforwardstatistics,suchaspageaccessfrequency,aswellasmoresophisticatedformsofanalysiS,suchasfindingthecommontraversalpathsthroughaWebsite.WebLogginin
7、giStheapplicationofdataminingtechniquestoserverlogsoflargeWebdatarepositoriesinordertoproduceresultsthatcanbeusedinthedesigntasksmentionedabove.Inourresearch,weexplaintheconcept,researchworks,keytechnologiesofWeblogminingandrelatedresearchathomeandabro
8、ad,andthenusedataminingtechnologytoanalyzetheWebusageinformationofonedistrictgovernmentSOastofindouttheusagepatternandpreferenceofenterprisesandindividualsasthebetterdecision—makingaidforwebsiteexecutives.ThethemSachievesthefollowingtas