資源描述：
《試論基于dom的web信息抽取技術(shù)的研究與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、大連理工大學(xué)碩士學(xué)位論文基于DOM的Web信息抽取技術(shù)的研究與實(shí)現(xiàn)姓名：李猛申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：控制理論與控制工程指導(dǎo)教師：仲崇權(quán);張利20081201大連理工大學(xué)碩士學(xué)位論文摘要當(dāng)前，互聯(lián)網(wǎng)已成為全球信息傳播與共享的重要渠道，但隨著其數(shù)據(jù)量的爆炸性增長(zhǎng)，用戶查找自己所需的信息卻變得越來(lái)越困難。在這種情況下，如何從浩繁的Web數(shù)據(jù)中抽取出有用的信息就成為了眾多研究工作者希望解決的問題。近年來(lái)國(guó)內(nèi)外已涌現(xiàn)了多種Web信息抽取方法，這些方法各有側(cè)重地解決了信息抽取中所面臨的問題。雖然在總體上取得了良好的效果，但仍然存在著對(duì)樣本需求過多，工作量大的缺陷。
2、針對(duì)現(xiàn)有方法的不足，提出一種半自動(dòng)化Web信息抽取方法，主要內(nèi)容包括以下幾個(gè)方面：首先，在相似頁(yè)面的獲取上，采用基于URL結(jié)構(gòu)比較和簡(jiǎn)單樹匹配算法相結(jié)合的方式來(lái)進(jìn)行。即對(duì)爬蟲程序在網(wǎng)站內(nèi)獲取的超鏈接采用URL比較法進(jìn)行先過濾，去掉不滿足匹配條件的網(wǎng)頁(yè)。然后使用簡(jiǎn)單樹匹配法對(duì)剩下的網(wǎng)頁(yè)進(jìn)行后過濾，以此來(lái)得到最終的相似頁(yè)面。這樣在網(wǎng)頁(yè)的相似性度量上，不僅考慮了URL，還考慮了網(wǎng)頁(yè)的實(shí)際結(jié)構(gòu)，彌補(bǔ)了單純根據(jù)URL獲取相似頁(yè)面的不足。’其次，提出一種基于DOM的Web信息抽取方法，通過對(duì)用戶標(biāo)記項(xiàng)與測(cè)試網(wǎng)頁(yè)中數(shù)據(jù)項(xiàng)進(jìn)行比較來(lái)獲取有效信息。即先將樣本網(wǎng)頁(yè)進(jìn)行解析
3、，提取其中感興趣數(shù)據(jù)項(xiàng)的特征。當(dāng)輸入測(cè)試網(wǎng)頁(yè)時(shí)j通過與其中所有的數(shù)據(jù)項(xiàng)進(jìn)行特征比較來(lái)獲得抽取結(jié)果。采用這種方式進(jìn)行信息抽取克服了傳統(tǒng)基于DOM的信息抽取方法對(duì)網(wǎng)頁(yè)結(jié)構(gòu)變化適應(yīng)性不強(qiáng)的缺點(diǎn)。第三，針對(duì)多記錄網(wǎng)頁(yè)特別是記錄數(shù)目不固定的網(wǎng)頁(yè)進(jìn)行信息抽取時(shí)，提出一種試探策略。在計(jì)算出用戶標(biāo)記記錄與測(cè)試網(wǎng)頁(yè)中記錄的相似度矩陣后，通過矩陣的變化情況來(lái)確定記錄間的分界點(diǎn)，進(jìn)而獲得所有記錄，降低了抽取難度。最后，根據(jù)以上分析對(duì)基于DOM的Web信息抽取原型系統(tǒng)進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。系統(tǒng)為用戶提供可視化操作界面，便于使用。通過不同功能模塊的結(jié)合滿足了抽取任務(wù)的要求。對(duì)一些數(shù)
4、據(jù)源的實(shí)驗(yàn)結(jié)果表明，。在單樣本網(wǎng)頁(yè)訓(xùn)練情況下，所提出方法可以有效抽取出網(wǎng)頁(yè)中的數(shù)據(jù)。即使網(wǎng)頁(yè)中存在缺失項(xiàng)，系統(tǒng)依然具有良好的表現(xiàn)。關(guān)鍵詞：Web信息抽??；DOM；特征比較；試探策略基于DOM的web信息抽取技術(shù)的研究與實(shí)現(xiàn)ResearchandRealizationofWebInformationExtractionBasedonD0lMAbstractAstherapiddevelopmentofIntemet，ithasbecomeanimportantchannelforglobalinformationspreadingandsharing．B
5、ut、Ⅳiththeexplosivegrowthofdata,itismoreandmoredifficulttofindinterestedinformationforusers。Underthecircumstances，howtoextractusefulinformationfromWebhasbecomearesearchfoCUS．VariOUSmethodsforinformationextractionhavebeenproposedathomeandabroadinrecentyears．Thesemethodsachievegoo
6、deffectasawhole．However,thedefecmsuchasneedingexcessivesamplepagesandheavyworkloadstillexist．Aimingtotheseshortages，asemiautomaticmethodforWebinformationextractionisproposed．Themaincontentisshownasbelow．Firstly，amethodcombinedURLcomparisonandSimplejtee_Matchingalgorithmisusedino
7、rdertOsolvetheproblemofsimilarpagesacquirement．AWebcrawlerisutilizedtoobtainhyperlinksonthefirststep．ThenthehyperlinksarefilteredbythemethodofURLcomparisonandtheoneswhichsatisfymatchingconditionareleft．OnthelaststeptheSimpleTreeMatchingalgorithmisusedtofiltertheresulthyperlinks．
8、ThefinalsimilarpagesCanbeacquiredatthistime．Ont
