資源描述：
《網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、山東科技大學(xué)信息學(xué)院本科畢業(yè)論文摘要本課題的主要目的是設(shè)計(jì)面向定向網(wǎng)站的網(wǎng)絡(luò)爬蟲(chóng)程序，同時(shí)需要滿(mǎn)足不同的性能要求，詳細(xì)涉及到定向網(wǎng)絡(luò)爬蟲(chóng)的各個(gè)細(xì)節(jié)與應(yīng)用環(huán)節(jié)。搜索引擎作為一個(gè)輔助人們檢索信息的工具。但是，這些通用性搜索引擎也存在著一定的局限性。不同領(lǐng)域、不同背景的用戶(hù)往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶(hù)不關(guān)心的網(wǎng)頁(yè)。為了解決這個(gè)問(wèn)題，一個(gè)靈活的爬蟲(chóng)有著無(wú)可替代的重要意義。網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用智能自構(gòu)造技術(shù)，隨著不同主題的網(wǎng)站，可以自動(dòng)分析構(gòu)造URL，去重。網(wǎng)絡(luò)爬蟲(chóng)使用多線(xiàn)程技術(shù)，讓爬蟲(chóng)具備更強(qiáng)大的抓取
2、能力。對(duì)網(wǎng)絡(luò)爬蟲(chóng)的連接網(wǎng)絡(luò)設(shè)置連接及讀取時(shí)間，避免無(wú)限制的等待。為了適應(yīng)不同需求，使網(wǎng)絡(luò)爬蟲(chóng)可以根據(jù)預(yù)先設(shè)定的主題實(shí)現(xiàn)對(duì)特定主題的爬取。研究網(wǎng)絡(luò)爬蟲(chóng)的原理并實(shí)現(xiàn)爬蟲(chóng)的相關(guān)功能,并將爬去的數(shù)據(jù)清洗之后存入數(shù)據(jù)庫(kù)，后期可視化顯示。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)，定向爬取，多線(xiàn)程，Mongodb山東科技大學(xué)信息學(xué)院本科畢業(yè)論文ABSTRACT Themainpurposeofthisprojectistodesignsubject-orientedwebcrawlerprocess,whichrequiretomeetdifferentpe
3、rformanceandrelatedtothevariousdetailsofthetargetedwebcrawlerandapplicationindetail.Searchengineisatooltohelppeopleretrieveinformation.However,thesegeneralsearchenginesalsohavesomelimitations.Usersindifferentfieldsandbackgroundstendtohavedifferentpurposesandneeds,
4、andtheresultsreturnedbygeneralsearchenginescontainalargenumberofwebpagesthatusersdon'tcareabout.Inordertosolvethisproblem,itisofgreatsignificanceforaflexiblecrawler.Webcrawlerapplicationofintelligentselfconstructiontechnology,withthedifferentthemesofthesite,youcan
5、automaticallyanalyzethestructureofURL,andcancelduplicatepart.Webcrawlerusemulti-threadingtechnology,sothatthecrawlerhasamorepowerfulabilitytograb.Settingconnectionandreadingtimeofthenetworkcrawleristoavoidunlimitedwaiting.Inordertoadapttothedifferentneeds,thewebcr
6、awlercanbaseonthepresetthemestorealizetofilchthespecifictopics.What’smore,weshouldstudytheprincipleofthewebcrawler,realizetherelevantfunctionsofreptiles,savethestolendatatothedatabaseaftercleaningandinlateachievethevisualdisplay.Keywords：Webcrawler,Directionalclim
7、b,multi-threading,mongodb山東科技大學(xué)信息學(xué)院本科畢業(yè)論文山東科技大學(xué)信息學(xué)院本科畢業(yè)論文目 錄第一章 概述11.1 課題背景11.2 網(wǎng)絡(luò)爬蟲(chóng)的歷史和分類(lèi)1第二章文獻(xiàn)綜述72.1 網(wǎng)絡(luò)爬蟲(chóng)理論概述72.2 網(wǎng)絡(luò)爬蟲(chóng)框架介紹8第三章研究方案163.1 網(wǎng)絡(luò)爬蟲(chóng)的模型分析163.2 URL構(gòu)造策略193.3 數(shù)據(jù)提取與存儲(chǔ)分析19第四章網(wǎng)絡(luò)爬蟲(chóng)模型的設(shè)計(jì)和實(shí)現(xiàn)214.1 網(wǎng)絡(luò)爬蟲(chóng)總體設(shè)計(jì)214.2 網(wǎng)絡(luò)爬蟲(chóng)具體設(shè)計(jì)21第五章 實(shí)驗(yàn)與結(jié)果分析395.2 結(jié)果分析42參考文獻(xiàn)36致謝37附錄138附
8、錄247山東科技大學(xué)信息學(xué)院本科畢業(yè)論文第一章 概述1.1 課題背景網(wǎng)絡(luò)爬蟲(chóng)，是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲(chóng)。網(wǎng)絡(luò)檢索功能起于互聯(lián)網(wǎng)內(nèi)容爆炸性發(fā)展所帶來(lái)的對(duì)內(nèi)容檢索的需求。搜索引擎不斷的發(fā)展,人們的需求也在不斷的提高
