資源描述：
《網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、山東科技大學(xué)信息學(xué)院本科畢業(yè)論文摘要本課題的主要目的是設(shè)計面向定向網(wǎng)站的網(wǎng)絡(luò)爬蟲程序，同時需要滿足不同的性能要求，詳細(xì)涉及到定向網(wǎng)絡(luò)爬蟲的各個細(xì)節(jié)與應(yīng)用環(huán)節(jié)。搜索引擎作為一個輔助人們檢索信息的工具。但是，這些通用性搜索引擎也存在著一定的局限性。不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁。為了解決這個問題，一個靈活的爬蟲有著無可替代的重要意義。網(wǎng)絡(luò)爬蟲應(yīng)用智能自構(gòu)造技術(shù)，隨著不同主題的網(wǎng)站，可以自動分析構(gòu)造URL，去重。網(wǎng)絡(luò)爬蟲使用多線程技術(shù)，讓爬蟲具備更強大的抓取能力。對網(wǎng)絡(luò)爬蟲的連接
2、網(wǎng)絡(luò)設(shè)置連接及讀取時間，避免無限制的等待。為了適應(yīng)不同需求，使網(wǎng)絡(luò)爬蟲可以根據(jù)預(yù)先設(shè)定的主題實現(xiàn)對特定主題的爬取。研究網(wǎng)絡(luò)爬蟲的原理并實現(xiàn)爬蟲的相關(guān)功能,并將爬去的數(shù)據(jù)清洗之后存入數(shù)據(jù)庫，后期可視化顯示。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲，定向爬取，多線程，Mongodb山東科技大學(xué)信息學(xué)院本科畢業(yè)論文ABSTRACT Themainpurposeofthisprojectistodesignsubject-orientedwebcrawlerprocess,whichrequiretomeetdifferentperformanceandrelatedtot
3、hevariousdetailsofthetargetedwebcrawlerandapplicationindetail.Searchengineisatooltohelppeopleretrieveinformation.However,thesegeneralsearchenginesalsohavesomelimitations.Usersindifferentfieldsandbackgroundstendtohavedifferentpurposesandneeds,andtheresultsreturnedbygeneralsea
4、rchenginescontainalargenumberofwebpagesthatusersdon'tcareabout.Inordertosolvethisproblem,itisofgreatsignificanceforaflexiblecrawler.Webcrawlerapplicationofintelligentselfconstructiontechnology,withthedifferentthemesofthesite,youcanautomaticallyanalyzethestructureofURL,andcan
5、celduplicatepart.Webcrawlerusemulti-threadingtechnology,sothatthecrawlerhasamorepowerfulabilitytograb.Settingconnectionandreadingtimeofthenetworkcrawleristoavoidunlimitedwaiting.Inordertoadapttothedifferentneeds,thewebcrawlercanbaseonthepresetthemestorealizetofilchthespecifi
6、ctopics.What’smore,weshouldstudytheprincipleofthewebcrawler,realizetherelevantfunctionsofreptiles,savethestolendatatothedatabaseaftercleaningandinlateachievethevisualdisplay.Keywords：Webcrawler,Directionalclimb,multi-threading,mongodb山東科技大學(xué)信息學(xué)院本科畢業(yè)論文山東科技大學(xué)信息學(xué)院本科畢業(yè)論文目 錄第一章
7、概述11.1 課題背景11.2 網(wǎng)絡(luò)爬蟲的歷史和分類1第二章文獻(xiàn)綜述72.1 網(wǎng)絡(luò)爬蟲理論概述72.2 網(wǎng)絡(luò)爬蟲框架介紹8第三章研究方案163.1 網(wǎng)絡(luò)爬蟲的模型分析163.2 URL構(gòu)造策略193.3 數(shù)據(jù)提取與存儲分析19第四章網(wǎng)絡(luò)爬蟲模型的設(shè)計和實現(xiàn)214.1 網(wǎng)絡(luò)爬蟲總體設(shè)計214.2 網(wǎng)絡(luò)爬蟲具體設(shè)計21第五章 實驗與結(jié)果分析395.2 結(jié)果分析42參考文獻(xiàn)36致謝37附錄138附錄247山東科技大學(xué)信息學(xué)院本科畢業(yè)論文第一章 概述1.1 課題背景網(wǎng)絡(luò)爬蟲，是一種按照一定的規(guī)則，自動的抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用
8、的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。網(wǎng)絡(luò)檢索功能起于互聯(lián)網(wǎng)內(nèi)容爆炸性發(fā)展所帶來的對內(nèi)容檢索的需求。搜索引擎不斷的發(fā)展,人們的需求也在不斷的提高
