資源描述:
《基于本體和潛在語義索引算法的文本分類方法研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、東北師范大學碩士學位論文基于本體和潛在語義索引算法的文本分類方法研究姓名:孫娜申請學位級別:碩士專業(yè):計算機軟件與理論指導教師:楊喜權(quán)20090501摘要隨著Internet的發(fā)展,互聯(lián)網(wǎng)上的數(shù)據(jù)和信息呈現(xiàn)海量特征,文本分類作為處理和組織大量文本信息的關(guān)鍵方法,可以方便人們準確地找到自己所需要的知識。信息的爆炸式增長,使人們對文本分類的要求越來越高。傳統(tǒng)的基于統(tǒng)計和機器學習的分類方法需要大量的訓練集來訓練分類模型,如果類別改變需要重新收集大量的訓練集合,費時費力。這些傳統(tǒng)方法大多采用向量空間模型進行文本表示,會導致特征向量的高維性和稀疏性。在高維的
2、特征空間中實現(xiàn)文本分類,分類的計算量大而且效率低,無法滿足用戶的需求。本文提出一個基于本體的文本分類的通用框架,重點對文本分類任務(wù)中的特征降維和分類兩個關(guān)鍵方法進行了深入研究,同時將潛在語義索引算法和領(lǐng)域本體應(yīng)用到該文本分類的通用框架中,實現(xiàn)了基于本體和潛在語義索引算法的文本分類原型系統(tǒng)。具體內(nèi)容如下:1.在領(lǐng)域?qū)<业膮f(xié)助下,采用本體開發(fā)工具protege3.3,手工構(gòu)建茶本體,為實現(xiàn)文本分類提供語義信息。2.采用潛在語義索引算法對特征向量進行降維,剔除對分類作用不大的特征項,減少向量維數(shù)。3.基于前人工作的基礎(chǔ),結(jié)合領(lǐng)域本體知識構(gòu)建分類器,實現(xiàn)基
3、于語義的文本分類。4.通過與傳統(tǒng)的樸素貝葉斯分類器進行對比實驗,驗證了該方法的可行性和有效性。實驗結(jié)果表明該方法能夠取得較好的分類精度,提高了文本分類的性能。本體作為知識組織和知識表示手段,在理論上具備很多的優(yōu)勢和潛在的功能。將本體的概念引入到文本挖掘領(lǐng)域的應(yīng)用層面上,為人們實現(xiàn)文本的自動分類提供一種新思路?;诒倔w的分類方法無需訓練樣本,可以通過本體獲得語義信息并結(jié)合文本分類的關(guān)鍵技術(shù)實現(xiàn)對文本的自動分類。該研究為基于語義的信息挖掘提供了重要的基礎(chǔ),具有重要的實用價值和廣泛的應(yīng)用前景。關(guān)鍵詞:文本分類;本體;特征降維:潛在語義索引;向量空間模型A
4、bstractWiththedevelopmentofIntemet,dataandinformationhasincreasedbyexponentialgrowthlevel.Asakeymethodtoprocessandorganizealargenumberoftexts,textclassificationcallmakepeopleeasilyfindwhatknowledgetheyexactlyneed.TheexplosivegrowthofinformationmakesUSneedhigherandhigherrequire
5、mentfortextclassification.Traditionalmethodsbasedonmachinelearningandstatisticsrequirelotsoftrainingsamplestotrainclassificationmodel.Ifcategoriesalechanged,weneedtOre-collecttrainingsamples,whichiStime—consumingandlaborious.Furthermore,thesemethodsusevectorspacemodeltoexpress
6、texts,andthiswillleadtosuchhigh—dimensionalfeaturevectors.Itisdifficulttorealizetextclassificationinthehigh-dimensionalfeaturespace,largecalculationquantityandlowefficiencycannotsatisfyusers‘needs.Thispaperproposedageneralframeworkbasedonontologyfortextclassification,andconduc
7、tedanin—depthresearchonbothdimensionalreductionandclassificationprocess.Wecombinedlatentsemanticindexingalgorithmwithontologyschemeonthegeneralframeworktorealizeaprototypesystem.Thedetailsweregivenasfollow:1.Withtheassistanceofexpertsinthefield,weusedontologydevelopmenttoolpro
8、tege3.3tobuildteaontologymanually.AndtheteaontologyCanbeasbac