網(wǎng)絡(luò)爬蟲(chóng)需求

《網(wǎng)絡(luò)爬蟲(chóng)需求》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、課題名稱(chēng)：Web資源自動(dòng)獲取技術(shù)研究與應(yīng)用(JAVA實(shí)現(xiàn))學(xué)校：中南大學(xué)學(xué)院：信息科學(xué)與技術(shù)學(xué)院專(zhuān)業(yè)班別：計(jì)算機(jī)軟件專(zhuān)業(yè)NIIT081姓名：　譚東方　指導(dǎo)教師：　　　　　　完成日期：　　　　　　　　　摘要隨著網(wǎng)絡(luò)的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎(SearchEngine)，例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問(wèn)萬(wàn)維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：　　(

2、1)不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁(yè)。　　(2)通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無(wú)限的網(wǎng)絡(luò)數(shù)據(jù)資源之間的矛盾將進(jìn)一步加深。　　(3)萬(wàn)維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫(kù)、音頻/視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對(duì)這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無(wú)能為力，不能很好地發(fā)現(xiàn)和獲取。　　(4)通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語(yǔ)義信息提出的查詢。為了解決上述問(wèn)題，定向抓

3、取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲(chóng)應(yīng)運(yùn)而生。聚焦爬蟲(chóng)是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(chóng)(generalpurposewebcrawler)不同，聚焦爬蟲(chóng)并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。關(guān)鍵字：網(wǎng)絡(luò)爬蟲(chóng)程序,WEB爬蟲(chóng),網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人AbstractThispaperfirstintroducesthekeytechniquesandtheorieswhicharerequire

4、dintherealizationoftheextensibleSpider,onthebasisofwhichwethenusetheoriented-objectmethodstohaveanalyzedanddesignedaWebSpiderwithextensibility.Finally,theprogrammingworkhasbeenrealizedontheJCreatorplatformwiththeJavalanguage.ThedesigningoftheextensibleSpiderismade

5、upoftwomajorparts:theClientcrawlerandtheServermonitor.TheClientisresponsibleforthepage-collectionjob,whichreceivesURLofthewebpagestobecrawledfromtheserverandtransmitsthoseoutofitscrawlingrange.Inordertoreducetheresponsetime,thepage-collectionhasborrowedthemultithr

6、eadingtechniquetoimprovethesystem’sperformance.TheURLtransitionhasutilizedthe“CharacterConversion”functionoftheMD5algorithmandthe“SplittingConstructor”ofthehashingfunction.TheservermonitortakeschargeofthearrangementoftheactivespidersandthetransitionofthearrivingUR

7、L:thesystemwouldallocateanuniqueIDforeverycrawlertorealizeunifiedmanagementaswellasmakingareasonablejudgmentforeveryURLfromclientstodeterminewhichactivespiderthisURLshouldbesentto.Inthesystem,therunningprocess,includingthestartandinterruption,ofthecrawlersiscomple

8、telycontrolledbytheserver,andtheservercandynamicallysupervisethecollectionstatusofeachofthecrawler.Ithasbeenprovedbytheexperimentthatthissystemhasthecha