基于視覺信息的deep+web信息自動抽取技術(shù)的研究

《基于視覺信息的deep+web信息自動抽取技術(shù)的研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、謹以此文獻給尊敬的張巍副教授以及我親愛的朋 友和同學(xué)們！--------------談鳳真萬方數(shù)據(jù)萬方數(shù)據(jù)基于視覺信息的DeepWeb信息自動抽取技術(shù)的研究學(xué)位論文答辯日期：指導(dǎo)教師簽字：答辯委員會成員簽字：萬方數(shù)據(jù)萬方數(shù)據(jù)萬方數(shù)據(jù)萬方數(shù)據(jù)本論文得到山東省自然科學(xué)基金（No.ZR2012FM016）的資助。萬方數(shù)據(jù)獨創(chuàng)聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含未獲得（注：如沒有其他需要特別聲明的，本欄可空

2、）或其他教育機構(gòu)的學(xué)位或證書使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。學(xué)位論文作者簽名：簽字日期：年月日------------------------------------------------------------------------------------------------------學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)學(xué)?？梢詫W(xué)位論文的全部

3、或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。同時授權(quán)中國科學(xué)技術(shù)信息研究所將本學(xué)位論文收錄到《中國學(xué)位論文全文數(shù)據(jù)庫》，并通過網(wǎng)絡(luò)向社會公眾提供信息服務(wù)。（保密的學(xué)位論文在解密后適用本授權(quán)書）學(xué)位論文作者簽名：導(dǎo)師簽字：簽字日期：年月日簽字日期：年月萬方數(shù)據(jù)萬方數(shù)據(jù)萬方數(shù)據(jù)基于視覺信息的DeepWeb信息自動抽取技術(shù)的研究摘要隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展，web已經(jīng)成為一個巨大的信息源，擁有著海量的重要數(shù)據(jù)。目前數(shù)據(jù)挖掘在許多領(lǐng)域應(yīng)用廣泛，如：金融、醫(yī)療保險、市場分析等。通過分析挖掘得到的數(shù)據(jù)，

4、可以獲得許多有用知識，最大程度的進行輔助決策。然而，Web數(shù)據(jù)的特點是數(shù)量多，形式異構(gòu)，自治的，分布存儲，這使得Web數(shù)據(jù)挖掘的分析工作變得尤為困難，所以當務(wù)之急是對數(shù)據(jù)進行集成，為高質(zhì)量數(shù)據(jù)分析奠定基礎(chǔ)。根據(jù)web中所蘊含信息的“深度”，可以將web分為SurfaceWeb和DeepWeb。在數(shù)量和質(zhì)量上，DeepWeb遠遠超過了SurfaceWeb，具有較高的應(yīng)用價值。因此，如何進行抽取DeepWeb中的數(shù)據(jù)，以便于更有效的分析，具有重要的現(xiàn)實意義和廣闊的應(yīng)用前景。Internet上的各個網(wǎng)站的信息相互獨立，DeepWeb數(shù)據(jù)收集起來

5、十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微。雖然手工編寫信息的抽取規(guī)則準確率較高，但技術(shù)門檻低，而且由于信息源的多元性和改版的潛在風(fēng)險，手工方法無法滿足人們對信息獲取的需求。在這樣的背景下，可以發(fā)現(xiàn)DeepWeb信息自動提取技術(shù)的實現(xiàn)與研究是一個非常重要的問題。針對這一問題，本文在DeepWeb信息自動抽取技術(shù)方面，包括基于網(wǎng)頁視覺信息、機器學(xué)習(xí)訓(xùn)練模型、DeepWeb數(shù)據(jù)區(qū)域定位、數(shù)據(jù)項的對齊等方面，進行了深入而系統(tǒng)的研究，同時開發(fā)了Web信息自動抽取系統(tǒng)。本文具體的研究工作和研究成果如下：(1)基于頁面中的視覺信息，分割

6、網(wǎng)頁得到視覺塊樹，然后在視覺塊樹上，整合數(shù)據(jù)區(qū)域判定所需的視覺屬性，得到進行實驗的訓(xùn)練集。(2)使用機器學(xué)習(xí)的有效工具進行訓(xùn)練，結(jié)合人工編寫的規(guī)則進行去重去噪，準確地完成了DeepWeb數(shù)據(jù)區(qū)域的查找和定位。(3)提出了有效的對齊規(guī)則，大大提高了數(shù)據(jù)項的對齊準確率。(4)在以上研究內(nèi)容的基礎(chǔ)上，設(shè)計開發(fā)了DeepWeb信息自動抽取系統(tǒng)，系統(tǒng)實現(xiàn)功能包括：1)網(wǎng)頁視覺塊樹的轉(zhuǎn)換；2)數(shù)據(jù)區(qū)域的自動定位；3)數(shù)據(jù)項的完整抽取與對齊；4)生成Wrapper；5)實現(xiàn)了自動翻頁功能實現(xiàn)表明，本文提出的技術(shù)方法可以在基本無人工干預(yù)下快速、自動地抽取

7、I萬方數(shù)據(jù)列表頁面的豐富數(shù)據(jù)。關(guān)鍵字：deepweb；信息抽?。灰曈X信息；機器學(xué)習(xí)II萬方數(shù)據(jù)ApproachonVisonbasedDeepWebDataExtractionAbstractRecently,Networktechnologyhasbecomemoreandmorepopular.Withit’s development,thewebhasbecameahugeresourceswithmassivevaluabledata.Now manyapplications,suchasmarketintelligenceana

8、lysis,areinanurgentneedtomine thesedataforobtainingusefulinformation,andthenthegreatestdegreeofa