資源描述:
《web就業(yè)信息抽取系統(tǒng)的實(shí)現(xiàn)研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、合肥工業(yè)大學(xué)碩士學(xué)位論文Web就業(yè)信息抽取系統(tǒng)的實(shí)現(xiàn)研究姓名:方少卿申請(qǐng)學(xué)位級(jí)別:碩士專業(yè):計(jì)算機(jī)技術(shù)指導(dǎo)教師:胡學(xué)鋼;王敬毅2010-10Web就業(yè)信息抽取系統(tǒng)的實(shí)現(xiàn)研究摘要隨著Internet的快速發(fā)展,網(wǎng)絡(luò)已成為人們查詢信息、獲取數(shù)據(jù)的重要知識(shí)庫。面對(duì)遍布全球的互聯(lián)網(wǎng)絡(luò)構(gòu)成的“數(shù)據(jù)海洋”,作為從浩瀚的Web信息資源中發(fā)現(xiàn)潛在的有意義知識(shí)的有效手段,Web挖掘技術(shù)正越來受到人們的關(guān)注。在高職高專專業(yè)建設(shè)中需要從大量的企業(yè)用工信息中得到對(duì)專業(yè)建設(shè)和課程開設(shè)有一定指導(dǎo)意義的人才需求信息,Web信息是這些數(shù)據(jù)來源的重要組成部分,快速、準(zhǔn)確、有效地獲取
2、Web上的有價(jià)值信息,對(duì)指導(dǎo)高職院校專業(yè)建設(shè)和核心課程開設(shè)有著重要的意義。因特網(wǎng)頁面所具有的數(shù)據(jù)量大、半結(jié)構(gòu)化且動(dòng)態(tài)變化的特點(diǎn),給Web信息抽取帶來了復(fù)雜度高、可擴(kuò)展性和適應(yīng)性差等問題。XML技術(shù)的出現(xiàn),為解決基于Web的數(shù)據(jù)抽取提供了一個(gè)良好的機(jī)遇。本文的研究是基于XML的Web信息抽取,它屬于Web內(nèi)容挖掘的范疇。本文主要進(jìn)行了以下幾個(gè)方面的工作:1.針對(duì)Web信息抽取中的主要難點(diǎn)是如何有效地確定抽取規(guī)則這一問題。本文給出了一種基于路徑歸納學(xué)習(xí)的信息抽取方案,并對(duì)相關(guān)的技術(shù)進(jìn)行了探討和研究;2.在對(duì)Web頁特點(diǎn)進(jìn)行研究的基礎(chǔ)上,利用XML的特點(diǎn)
3、進(jìn)行Web信息抽取,為此利用JTidy對(duì)其待抽取的Web頁代碼進(jìn)行優(yōu)化和清洗并轉(zhuǎn)化為XML文檔,再經(jīng)過XML解析獲取Web頁的DOM樹,以利進(jìn)一步進(jìn)行信息抽??;3.采用歸納學(xué)習(xí)方法給出基于DOM的抽取規(guī)則生成和數(shù)據(jù)抽取策略,提出了規(guī)則生成的算法和數(shù)據(jù)抽取算法;通過機(jī)器學(xué)習(xí)生成抽取規(guī)則(集),利用生成的模板中的規(guī)則對(duì)結(jié)構(gòu)相似頁面進(jìn)行信息抽??;4.按照數(shù)據(jù)采集塊模塊、數(shù)據(jù)整理模塊、數(shù)據(jù)抽取模塊(包括規(guī)則生成及管理、就業(yè)信息抽?。┙o出了系統(tǒng)實(shí)現(xiàn)的總體框架,利用給出的算法完成了一個(gè)Web就業(yè)信息抽取系統(tǒng)Jobhunting的開發(fā)和實(shí)驗(yàn)。所抽取的數(shù)據(jù)存入數(shù)據(jù)
4、庫,以便利用成熟的數(shù)據(jù)庫技術(shù)處理利用這些數(shù)據(jù)。關(guān)鍵詞:Web挖掘,歸納學(xué)習(xí),規(guī)則生成,信息抽取ResearchontherealizationoftheemploymentinformationextractionsystemontheWebABSTRACTWiththerapidgrowthofInternet,ithasbeenbecominganimportantknowledgebaseforpeopletosearechforinformationanddata.Inthefaceof“thedataocean”,whichiscompo
5、sedoftheworldwidenetworkasaneffectivemeanstogainpotentialandmeaningfulknowledge,thetechniqueminedonlinehasbeendrawnmoreandmoreattention.Itisnecessaryforvocationalcollegestoobtainalargeamountofinformationaboutdemandingtalent,whichhasbeenprovidedguidingsignificancetospecialtycon
6、structionandcoursesettings.Theinformationontheinternethasbeenanimportantpartofthedatasources.ItisvaluablethattheinformationisfoundontheWebrapidly,accuratelyandefficientlyonspecialtyconstructionandcorecoursessettingsinvocationalcolleges.DuetothecharacteristicsontheInternetpages
7、uchasalargeamountofdatasemi-structuralanddynamicchanges,italsobringssuchproblemsashighcomplexity,lowexpansibilityandadaptabilitytoWebinformationextraction.ThediscoveryofXMLtechnologyisprovidedagoodopportunitytosolvethedataextractionontheWeb.ThisdissertationisbasedonXMLWebinfor
8、mationextraction,belongingtocontentminedcategoryontheWeb.main