基于web日志挖掘的智能信息檢索研究

《基于web日志挖掘的智能信息檢索研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、博士學位論文基于Web日志挖掘的智能信息檢索研究RESEARCHOFINTELLIGENTINFORMATIONRETRIEVALBASEDONWEBLOGSMINING朱鯤鵬2009年9月國內(nèi)圖書分類號：TP391.2學校代碼：10213國際圖書分類號：681.37密級：公開工學博士學位論文基于Web日志挖掘的智能信息檢索研究博士研究生：朱鯤鵬導師：王曉龍教授申請學位：工學博士學科：計算機應用技術(shù)所在單位：計算機科學與技術(shù)學院答辯日期：2009年9月授予學位單位：哈爾濱工業(yè)大學ClassifiedIndex:TP391.2U.D.C:681.37

2、DissertationfortheDoctoralDegreeinEngineeringRESEARCHOFINTELLIGENTINFORMATIONRETRIEVALBASEDONWEBLOGSMININGCandidate：ZhukunpengSupervisor：Prof.WangXiaolongAcademicDegreeAppliedfor：DoctorofEngineeringSpeciality：ComputerApplicationTechnologyAffiliation：SchoolofComputerScienceandT

3、echnologyDateofDefence：September,2009Degree-Conferring-Institution：HarbinInstituteofTechnology摘要摘要互聯(lián)網(wǎng)時代的來臨，使得網(wǎng)絡用戶日志數(shù)據(jù)急劇增加，如何快速有效地獲取、管理和使用這些日志數(shù)據(jù)，己經(jīng)成為信息系統(tǒng)學科迫切需要解決的重要問題。作為解決這些問題的基本工具之一，近十幾年來Web數(shù)據(jù)挖掘技術(shù)研究得到了廣泛關(guān)注，獲得了長足發(fā)展?；赪eb日志挖掘的智能信息檢索旨在通過對Web信息檢索的日志數(shù)據(jù)進行有效的分析，挖掘隱藏在日志數(shù)據(jù)背后的用戶檢索知識和模式，

4、應用這些知識和模式對現(xiàn)有的檢索方法進行改進，達到智能化信息檢索的目的。這個目標基于這樣的假設：網(wǎng)絡查詢?nèi)罩局写_實蘊含了用戶訪問Web的某些規(guī)律性特性，這些特性反映在某些模式中，這些模式可以被挖掘出來并加以利用。本論文的研究以Sogou搜索引擎的用戶查詢?nèi)罩緸榛A，使用統(tǒng)計分析、文本挖掘、關(guān)聯(lián)分析、聚類和統(tǒng)計語言建模等挖掘技術(shù)，獲得蘊含在用戶日志中的有價值的知識，并針對所得到的知識在信息檢索的查詢擴展、檢索推薦和用戶聚類等關(guān)鍵技術(shù)領(lǐng)域的實踐應用作了深入的研究。實驗證明，Web日志挖掘技術(shù)能夠有效改善信息檢索模型的性能。本文研究的主要內(nèi)容包括以下四個部

5、分：首先，對用戶查詢?nèi)罩局械臋z索規(guī)律展開研究。用戶查詢?nèi)罩臼怯涗浘W(wǎng)絡搜索引擎用戶行為的重要載體，通過對日志文件的統(tǒng)計分析，以及挖掘發(fā)現(xiàn)這些信息間的相互關(guān)系，可以歸納和總結(jié)出用戶檢索的一般規(guī)律和特征。為了更好的理解用戶的檢索行為，本文對實際網(wǎng)絡日志進行了實證性的規(guī)模統(tǒng)計分析，并且從查詢詞、網(wǎng)頁點擊、用戶會話等角度方面對用戶行為進行了詳細的分析，分析結(jié)果對于改進搜索引擎的檢索算法和獲得更準確的檢索效果都有很好的指導意義。其次，對基于關(guān)聯(lián)分析的自適應查詢擴展進行研究。查詢擴展可以有效的消除查詢歧義，提高信息檢索的準確率和召回率。本文通過挖掘用戶日志中查詢

6、詞和相關(guān)文檔的連接關(guān)系，構(gòu)造關(guān)聯(lián)查詢，并提出了一種從關(guān)聯(lián)查詢中提取查詢擴展詞的查詢擴展方法。同時，提出了一種查詢歧義判別方法，該方法可以對查詢詞所表達的檢索意圖的模糊程度進行有效度量，也可以對查詢詞的檢索性能進行預先估計，本文使用查詢歧義判別來動態(tài)調(diào)整擴展詞的長度，提高了查詢擴展模型的靈活性和適應能力。-I-哈爾濱工業(yè)大學工學博士學位論文再次，對基于特征融合的檢索推薦展開研究。基于查詢?nèi)罩就诰虻臋z索推薦系統(tǒng)可以有效地預測用戶在信息檢索過程中可能點擊的檢索結(jié)果，從而達到智能推薦的目的。針對目前已有的推薦系統(tǒng)缺乏有效的語義處理的問題，本文利用詞語語義信

7、息和統(tǒng)計語言模型相結(jié)合，提出了一種基于文檔相關(guān)度計算的檢索推薦模型。通過詞頻信息和知網(wǎng)（HowNet）中詞的概念計算模型計算網(wǎng)頁文檔間的主題相關(guān)度，再將該語義信息與統(tǒng)計模型計算的條件概率值相融合，以此作為網(wǎng)頁推薦的依據(jù)，同時為了提高推薦模型的適用度，使用回退平滑和關(guān)聯(lián)查詢方法對模型進行了修正。實驗表明，這項技術(shù)使推薦系統(tǒng)的性能獲得了較大的提高。最后，對面向檢索興趣的用戶聚類進行了研究。用戶聚類是針對查詢?nèi)罩局械挠脩魰掃M行分析，根據(jù)用戶的訪問動作，尋找行為模式或檢索興趣相似的用戶，將其分為一組。針對目前基于用戶會話計算用戶相似度的不足，本文提出了一

8、種通過挖掘查詢關(guān)聯(lián)關(guān)系對用戶會話相似度計算特征進行補償?shù)姆椒?，并給出了一種改進的關(guān)系傳播聚類算法對用戶數(shù)據(jù)進行聚類，該算法