海量的基于web的ftp搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

《海量的基于web的ftp搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)TheDesign&RealizationofaPowerfulFTPSearchEngineSystem---陳華2001.6.10摘要在因特網(wǎng)上對眾多FTP站點(diǎn)進(jìn)行快速的文件條目查找，是網(wǎng)絡(luò)信息搜索的重要組成部分。本文以“天網(wǎng)”FTP搜索引擎為例，介紹了千萬級基于WEB的強(qiáng)大的FTP搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，并重點(diǎn)分析了系統(tǒng)所采用的關(guān)鍵技術(shù)和方法。關(guān)鍵詞FTP,搜索引擎，WWWlAbstractFTPSearchEngineisap

2、owerfultooltosearchusefulfilesforusersfromvariousresourcefulFTPsites.Inthispaper,mainlydescribedarethedesignandimplementationofourFTPsearchengine,aswellasthekeytechnologiesandmethodsweadopt.lKeywordFTP,SearchEngine,WorldWideWeb29海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)目錄一、引言…………………

3、……………………………………………………………...4二、搜索引擎的歷史與發(fā)展………………………………………………………………4a)搜索引擎的起源…………………………………………………………………4b)真正意義的搜索引擎…………………………………………………………….4c)Ftp的搜索引擎………………………………………………………………….5I、基于文本的ftp搜索引擎：Archie。…………………………………………..5II、基于Web的Ftp搜索引擎?！?三、天網(wǎng)ftp搜索引擎的現(xiàn)狀……

4、……………………………………………………….5a)天網(wǎng)Ftp搜索產(chǎn)生的起源與發(fā)展歷史。………………………………………….5b)天網(wǎng)ftp搜索引擎的現(xiàn)狀………………………………………………………6i.提供的功能…………………………………………………………………61.文件類型的分類………………………………………………………..62.時(shí)間過濾………………………………………………………………63.大小過濾………………………………………………………………64.精確匹配………………………………………………………………65.站點(diǎn)限制…………

5、……………………………………………………66.結(jié)果中查詢功能……………………………………………………….67.支持常用的*，?，與，并操作………………………………………...78.多語言版本……………………………………………………………79.快捷方式系統(tǒng)………………………………………………………….7ii.數(shù)據(jù)量……………………………………………………………………..71.站點(diǎn)數(shù)量在3000以上…………………………………………………72.文件條目1300萬左右…………………………………………………73.快捷方式約一千條…………

6、…………………………………………..7iii.訪問量……………………………………………………………………..71.日頁面下載量在3萬左右……………………………………………...72.日訪問人數(shù)在1.5萬以上………………………………………………8四、海量ftp搜索引擎的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)…………………………………………………….9a)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)：四大模塊和五個(gè)數(shù)據(jù)庫………………………………………9b)數(shù)據(jù)庫功能和結(jié)構(gòu)說明…………………………………………………………10i.文件類型庫……………………………………………………………….

7、..10ii.站點(diǎn)列表庫…………………………………………………………………11iii.素材數(shù)據(jù)庫…………………………………………………………………11iv.索引數(shù)據(jù)庫…………………………………………………………………12v.快捷方式數(shù)據(jù)庫……………………………………………………………13c)搜集建庫模塊…………………………………………………………………...14i.搜集建庫過程說明………………………………………………………….14ii.站點(diǎn)獲得策略………………………………………………………………14iii.并發(fā)搜集策略…………

8、……………………………………………………15iv.分布搜集策略………………………………………………………………15v.多次嘗試和斷點(diǎn)續(xù)搜………………………………………………………..15vi.線性的建庫過程…………………………………………………………….1529海量的基于We