海量的基于web的ftp搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

《海量的基于web的ftp搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)TheDesign&RealizationofaPowerfulFTPSearchEngineSystem---陳華2001.6.10摘要在因特網(wǎng)上對(duì)眾多FTP站點(diǎn)進(jìn)行快速的文件條目查找，是網(wǎng)絡(luò)信息搜索的重要組成部分。本文以“天網(wǎng)”FTP搜索引擎為例，介紹了千萬(wàn)級(jí)基于WEB的強(qiáng)大的FTP搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，并重點(diǎn)分析了系統(tǒng)所采用的關(guān)鍵技術(shù)和方法。關(guān)鍵詞FTP,搜索引擎，WWWlAbstractFTPSearchEngin

2、eisapowerfultooltosearchusefulfilesforusersfromvariousresourcefulFTPsites.Inthispaper,mainlydescribedarethedesignandimplementationofourFTPsearchengine,aswellasthekeytechnologiesandmethodsweadopt.lKeywordFTP,SearchEngine,WorldWideWeb29海量的基于Web的FTP搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)目錄一

3、、引言………………………………………………………………………………...4二、搜索引擎的歷史與發(fā)展………………………………………………………………4a)搜索引擎的起源…………………………………………………………………4b)真正意義的搜索引擎…………………………………………………………….4c)Ftp的搜索引擎………………………………………………………………….5I、基于文本的ftp搜索引擎：Archie?！?.5II、基于Web的Ftp搜索引擎。…………………………………………………5三

4、、天網(wǎng)ftp搜索引擎的現(xiàn)狀…………………………………………………………….5a)天網(wǎng)Ftp搜索產(chǎn)生的起源與發(fā)展歷史?！?5b)天網(wǎng)ftp搜索引擎的現(xiàn)狀………………………………………………………6i.提供的功能…………………………………………………………………61.文件類型的分類………………………………………………………..62.時(shí)間過(guò)濾………………………………………………………………63.大小過(guò)濾………………………………………………………………64.精確匹配………………………………………

5、………………………65.站點(diǎn)限制………………………………………………………………66.結(jié)果中查詢功能……………………………………………………….67.支持常用的*，?，與，并操作………………………………………...78.多語(yǔ)言版本……………………………………………………………79.快捷方式系統(tǒng)………………………………………………………….7ii.數(shù)據(jù)量……………………………………………………………………..71.站點(diǎn)數(shù)量在3000以上…………………………………………………72.文件條目1300萬(wàn)左右………………………

6、…………………………73.快捷方式約一千條……………………………………………………..7iii.訪問(wèn)量……………………………………………………………………..71.日頁(yè)面下載量在3萬(wàn)左右……………………………………………...72.日訪問(wèn)人數(shù)在1.5萬(wàn)以上………………………………………………8四、海量ftp搜索引擎的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)…………………………………………………….9a)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)：四大模塊和五個(gè)數(shù)據(jù)庫(kù)………………………………………9b)數(shù)據(jù)庫(kù)功能和結(jié)構(gòu)說(shuō)明…………………………………………………………10i.

7、文件類型庫(kù)………………………………………………………………...10ii.站點(diǎn)列表庫(kù)…………………………………………………………………11iii.素材數(shù)據(jù)庫(kù)…………………………………………………………………11iv.索引數(shù)據(jù)庫(kù)…………………………………………………………………12v.快捷方式數(shù)據(jù)庫(kù)……………………………………………………………13c)搜集建庫(kù)模塊…………………………………………………………………...14i.搜集建庫(kù)過(guò)程說(shuō)明………………………………………………………….14ii.站點(diǎn)獲得策略……………

8、…………………………………………………14iii.并發(fā)搜集策略………………………………………………………………15iv.分布搜集策略………………………………………………………………15v.多次嘗試和斷點(diǎn)續(xù)搜………………………………………………………..15vi.線性的建庫(kù)過(guò)程…………………………………………………………….1529海量的基于We