分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)——爬蟲(chóng)節(jié)點(diǎn)程序的設(shè)計(jì)與實(shí)現(xiàn)---畢業(yè)論文

《分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)——爬蟲(chóng)節(jié)點(diǎn)程序的設(shè)計(jì)與實(shí)現(xiàn)---畢業(yè)論文》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、本科畢業(yè)論文分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)——爬蟲(chóng)節(jié)點(diǎn)程序的設(shè)計(jì)與實(shí)現(xiàn)TheDesignandImplementationofDistributedWebCrawler——TheDesignandImplementationofCrawlerNode姓名：學(xué)號(hào)：學(xué)　　院：軟件學(xué)院系：軟件工程專(zhuān)業(yè)：軟件工程年級(jí)：指導(dǎo)教師：　年月摘　要搜索引擎是從互聯(lián)網(wǎng)上快速而有效地獲取信息資源的捷徑。網(wǎng)絡(luò)爬蟲(chóng)是搜索引擎的重要組成部分，它在搜索引擎中負(fù)責(zé)網(wǎng)絡(luò)信息采集，是搜索引擎數(shù)據(jù)庫(kù)中原始信息唯一的來(lái)源。本文圍繞著網(wǎng)絡(luò)搜索這一前沿技術(shù)，深入研究

2、了網(wǎng)絡(luò)爬蟲(chóng)的工作原理和相關(guān)技術(shù)，并在這些研究工作的基礎(chǔ)之上設(shè)計(jì)實(shí)現(xiàn)了一個(gè)高性能分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)。本文研究了搜索引擎的發(fā)展歷程，從中了解了網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用意義和實(shí)際價(jià)值，而后又對(duì)網(wǎng)絡(luò)爬蟲(chóng)的歷史和發(fā)展現(xiàn)狀進(jìn)行了學(xué)習(xí)和研究，總結(jié)前人的經(jīng)驗(yàn)，為自身的研究奠定好堅(jiān)實(shí)的基礎(chǔ)。在對(duì)網(wǎng)絡(luò)爬蟲(chóng)研究背景有了較深的了解之后，開(kāi)始著手研究和分析分布式網(wǎng)絡(luò)爬蟲(chóng)節(jié)點(diǎn)現(xiàn)有的實(shí)現(xiàn)技術(shù)，包括爬行的策略、網(wǎng)頁(yè)的測(cè)評(píng)算法、HTML網(wǎng)頁(yè)文檔的分析、多線程的使用、不同網(wǎng)頁(yè)編碼轉(zhuǎn)換、爬蟲(chóng)的優(yōu)雅爬行等等。并將這些關(guān)鍵技術(shù)應(yīng)用于分布式網(wǎng)絡(luò)爬蟲(chóng)節(jié)點(diǎn)當(dāng)中。完成了對(duì)理論知識(shí)

3、的理解和掌握，接下來(lái)就是應(yīng)用到實(shí)際的工作當(dāng)中。主要對(duì)分布式網(wǎng)絡(luò)爬蟲(chóng)節(jié)點(diǎn)進(jìn)行基礎(chǔ)的邏輯分析；對(duì)爬蟲(chóng)節(jié)點(diǎn)進(jìn)行了功能模塊的劃分，使得各個(gè)模塊的功能都有了詳細(xì)的分配；然后對(duì)爬蟲(chóng)節(jié)點(diǎn)的工作流程進(jìn)行詳盡的設(shè)計(jì)；最后綜合設(shè)計(jì)思想，完成對(duì)爬蟲(chóng)節(jié)點(diǎn)具體類(lèi)結(jié)構(gòu)的設(shè)計(jì)工作。最終實(shí)現(xiàn)了一個(gè)分布式網(wǎng)絡(luò)爬蟲(chóng)的程序原型，通過(guò)在互聯(lián)網(wǎng)上進(jìn)行實(shí)驗(yàn)，檢驗(yàn)了網(wǎng)絡(luò)爬蟲(chóng)節(jié)點(diǎn)的運(yùn)行效果，由此驗(yàn)證了分布式網(wǎng)絡(luò)爬蟲(chóng)的可行性和有效性。關(guān)鍵詞：并行；網(wǎng)絡(luò)爬蟲(chóng)節(jié)點(diǎn)；信息采集；AbstractAsearchengineisashortcuttoaccesstoinformat

4、ionresources.Asanimportantcomponentofasearchengine,webcrawlerisresponsibleforwebinformationcollection,whichistheonlysourceoforiginalinformationinsearchenginedatabase.Thispaperrevolvesaroundthecutting-edgewebsearchtechnology,reptile-depthstudyofthetheoryandrelated

5、technologiesofwebcrawler.Ahighperformancedistributedwebcrawlerisdesignedandimplementedbasedonthisknowledge.Thispaperresearchthedevelopmentofsearchengines,understandingtheapplicationmeaningandrealvalueofthewebcrawlerfromtheresearch.Andthenlearningandresearchthehis

6、toryanddevelopmentofthewebcrawler.Summinguptheexperienceoftheirpredecessors,layasolidfoundationfortheresearch.Withdeeperunderstandingoftheresearchbackgroundofthewebcrawler,Ithenstarttoresearchandanalyzethetechnologyofthedistirbutedwebcrawlernode,includingcrawlstr

7、ategy,webpageevaluation,HTMLwebdocumentanalysis,usingmultithreading,changewebpagecoding,politecrawletc.Andusethekeytechnologyintheimplementationofthedistirbutedwebcrawlernode.Whenunderstandandmasteryoftheoreticalknowledge,thenextisappliedtotheactualwork.Analyzeth

8、ebaselogicofthedistributedwebcrawlernode;partitionthefunctionofeachmoduleofthecarwlernode,makethedistributionofthefunctionsforeachmoduleindetails;detaileddesig