主題搜索引擎網(wǎng)絡爬蟲搜索策略的研究與實現(xiàn)

《主題搜索引擎網(wǎng)絡爬蟲搜索策略的研究與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、北京化工大學碩士學位論文主題搜索引擎網(wǎng)絡爬蟲搜索策略的研究與實現(xiàn)姓名：夏亮申請學位級別：碩士專業(yè)：計算機應用技術指導教師：許南山20100527摘要主題搜索引擎網(wǎng)絡爬蟲搜索策略的研究與實現(xiàn)主題網(wǎng)絡爬蟲是主題搜索引擎后端獲取數(shù)據(jù)的自動化代碼程序，主題搜索引擎前端查詢到的數(shù)據(jù)事先由主題網(wǎng)絡爬蟲在互聯(lián)網(wǎng)上抓取，存儲在本地。然后對網(wǎng)頁進行數(shù)據(jù)抽取，建立索引。所以主題爬蟲對于一個主題搜索引擎來說，起著支撐的作用。本文提出鏈接文本相關度算法與主題信息值遺傳恢復的算法相結合的主題優(yōu)先抓取算法來指引爬蟲抓取方向，并使用postgresql數(shù)據(jù)庫集群技術存儲數(shù)據(jù)。主題優(yōu)先抓取算法根據(jù)網(wǎng)絡頁面結構的特點，通過頁

2、面之間的主題傳遞來預測頁面主題相關性，解決了主題爬蟲通道堵塞，抓取遺漏的問題。首先根據(jù)錨文本傳遞一個相關性信息值，如果錨文本給出的信息是相關，相關閥值就直接傳遞；如果是不相關，就乘以遺傳基因比例之后傳遞。傳遞的過程中如果遇到相關的網(wǎng)頁就恢復鏈接的相關性信息值到初始值。相關性信息值將互聯(lián)網(wǎng)網(wǎng)頁以主題的不同分割在不同的通道內(nèi)，所有與主題相關的網(wǎng)頁都在最大通道內(nèi)，各個通道交錯相連，爬蟲按通道的大小順序抓取。爬蟲要抓取的網(wǎng)頁信息量龐大，單臺主機不能滿足這些信息的存儲。本文在資源庫以及鏈接地址庫都采用postgresql數(shù)據(jù)庫集群技術，擴大后臺存儲容量。并且在各個數(shù)據(jù)庫點中使用pgbouncer連接池

3、技術，減少數(shù)據(jù)庫連接次數(shù)，爭取時間。在鏈接地址庫中采用緩存技術北京化工大學碩上學位論文減少數(shù)據(jù)庫操作次數(shù)，減少消耗時間，提高爬蟲工作速度。最后通過實驗測試，分析數(shù)據(jù)，驗證了基于主題優(yōu)先抓取技術的有效性及postgresql數(shù)據(jù)庫集群技術的爬蟲系統(tǒng)的可行性。關鍵詞：網(wǎng)絡爬蟲，搜索引擎，postgresql，數(shù)據(jù)庫集群，主題相關IIResearchandAchievementoftheSearchStrategicforthetopicsearchenginespiderABSTRACTTopicspiderisallautomaticprogramwhichisusedtogetd．a(chǎn)tafr

4、omwebinthebackendoftopicsearchengine．Thedatainquiredinthefrontendoftopicsearchengineissnatchedfrominternetnetbyspiderfirstly,andthentheyarestoredinlocaldisks．Finally,thedataisextractedfromcyberpageandindexed．．Asaresult，weCallsaythatatopicsearchengineissupportedbytopicspider．Thispaperproposesanalgor

5、ithmoftopicpfiofitysnatchingwhichisbasedonthecombinationoflinkingtextrelevancealgorithmandtopicmessageinheritancerenewingalgorithm．Thisalgorithmconductsthedirectionofspiderandstoragesdatabymeansofpostgresqldatabasecluster．Accordingtothecharacteristicsofthecyberpagestructure，thealgorithmoftopicprior

6、itysnatchingsolvestheproblemofchanneljammingandomitsofcapturebypredictingthecorrelativitythroughdeliveringthethemeamongthepages．Firstly,acorrelativeinformationvalueisdeliveredaccordingtotheanchortext．Iftheinformationgivenbytheanchortextiscorrelated，thecorrelativethresholdwillbedelivereddirectly．Oth

7、erwiseitwillbemultipliedbythegeneticratiobeforeIII北京化工大學碩：I：學位論文delivery．Intheprocessofdelivery,correlativeinformationvaluemayberesettotheinitialvalueifitencountersthecorrelativewebpage．Relevancemessagessep