資源描述：
《中文文本分類中特征提取算法的研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、重慶大學碩士學位論文中文摘要摘要隨著網(wǎng)絡和信息技術的飛速發(fā)展，人們可獲得的知識越來越多，但是面對具體的知識，要在這浩瀚的信息世界中快速獲得卻是很困難的。面對這一矛盾，人們想到了知識分類技術，這一技術的出現(xiàn)立即獲得了人們廣泛關注，同時知識分類中的文本分類也成為了研究的熱點。文本特征提取算法是文本分類中研究比較多，比較重要的問題。本文通過分析傳統(tǒng)的TFIDF算法發(fā)現(xiàn)其存在如下缺點：1)沒有考慮特征詞在類間的分布，如果一個特征詞，在各個類間分布比較均勻，這樣的詞對分類基本沒有貢獻；但是如果一個特征詞比較集中的分布在某個類中，而在其它類中幾乎不出現(xiàn)，這樣
2、的詞卻能夠很好代表這個類的特征，然而傳統(tǒng)的TFIDF算法不能夠區(qū)分這兩種情況；2)沒有考慮特征詞在類內部文檔中的分布情況。在類內部的文檔中，如果特征詞均勻分布在其中，則這個特征詞能夠很好的代表這個類的特征，如果只在幾篇文檔中出現(xiàn)，而在此類的其它文檔中不出現(xiàn)，顯然這樣的特征詞不能夠代表這個類的特征。針對傳統(tǒng)的TFIDF算法的缺陷，運用特征詞在類間和類內部的分布信息來改進傳統(tǒng)的TFIDF算法。方差是描述隨機變量分布情況的指標，本文用方差來描述特征詞在類間的分布情況。如果特征詞方差小，說明其在類間的分布比較均勻，這樣的特征詞對分類貢獻不大，可以用方差來
3、降低該特征詞的權重；而特征詞在類內部的分布情況也可以用方差來描述，與類間分布不同的是，特征詞在類內部分布方差越小，即在類內部分布越均勻，特征詞越能代表此類，因此在修正TFIDF公式時，應該將其TFIDF值調大。本文的另外一個工作是，將遺傳算法運用到特征提取中。本文拋棄了傳統(tǒng)特征提取方法為每個文檔進行特征提取的思想，而是為每個類進行特征提取。首先用常用的特征提取算法量化各個特征詞的權重，然后用遺傳算法來修正特征詞的權重，直到為每個類訓練出能夠代表本類的特征向量(又叫分類器)，最后用這些類的特征向量進行分類。為了驗證提出的改進TFIDF方法的正確性及
4、其遺傳算法用于中文文本分類的效果，本文進行了兩個實驗：1)將傳統(tǒng)的和改進的算法提取的特征詞用于KNN算法分類的對比實驗；2)將遺傳算法用于特征提取的實驗結果和KNN分類結果比較。實驗一結果表明無論從整體混淆矩陣、總體查全率、查對率、以及各個類的查全率、查對率方面，改進方法都要優(yōu)于TFIDF傳統(tǒng)算法；實驗二結果顯示：遺傳算法作為特征提取的分類結果和KNN方法的分類結果相當，并且略好于KNN分類I重慶大學碩士學位論文中文摘要結果。實驗證明，本文改進的TFIDF算法是成功的，正確的，并且是可行的；遺傳算法在一個類范圍類進行特征提取的策略是可行的。關鍵詞
5、：特征提取，特征向量，向量空間模型，遺傳算法II重慶大學碩士學位論文英文摘要ABSTRACTPeoplecangainmoreandmoreknowledgealongwiththefastdevelopmentofthenetworkandinformationtechnology.However,inthefaceofspecificknowledge,itisdifficulttoobtainitquicklyinthevastworldofinformation.Whentheymeetthecontraction,technicalkn
6、owledgeclassificationoccurstothepeople,anditimmediatelywinswideconcernassoonasitemerges.Atthesametime,documentclassificationwhichisoneofclassificationofknowledgebecomeshotresearch.Featureselectionalgorithmisanimportantissueindocumentclassification.ThetraditionalTFIDFalgorithm
7、ismainlystudiedinthispaperandisfoundthatithasseverallimitations:1)itdoesnottakeintoaccounttheinter-categorydistributionofthefeatureterms.Ifafeaturetermisevenlydistributedamongcategories,italmosthasnocontributiontotheclassification,converselyifafeaturetermisconcentratedlydistr
8、ibutedinacategorybutrarelyappearinothercategories,itcanbeagoodrepres
