基于文本降維和蟻群算法的文本聚類研究

《基于文本降維和蟻群算法的文本聚類研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、？＂‘？＇－．＇．、：＾：Ｖ．－．？．‘，＇？，勺，‘？．產(chǎn)‘＇。，．＇．‘，，－－Ｖ－＇：片：．密級(jí)：碩±學(xué)位論文基于文本降維和蟻群算法的文本聚類研究ＲｅｓｅａｒｃｈｏｎｔｅｘｔｃｌｕｓｔｅｒｉｎｇｂａｓｅｄｏｎＴｅｘｔｄｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎａｎｄＡｎｔｃｏｌｏｎｙａｌｏｒｉｔｈｍｇ：：＇：．．立：＇ｗ＿如，‘：ｖ咕＾學(xué)號(hào)Ｅ１３２０１０２８門，．：豐－－ｒＶ．；心；；Ｊ；＾

2、／．姓名張海濤＞ａ－＇／Ｉ學(xué)位類別工學(xué)碩±．，巾＊＇■．；■＇：ｒ?qū)W科專業(yè)＼，Ｖ計(jì)＞算機(jī)應(yīng)用技術(shù)工程１荊心Ｗ巧個(gè)（観）Ｉ坪指導(dǎo)教師周愛武’完成時(shí)間２０１６年３月：答辯委員會(huì)ｓＬ．一‘‘Ｉ（主八ｉ．ｒ席簽名）辛；，＇，．■ｒ．Ｉ．．、－Ｖ．．．，Ｉ■■．■＜．‘■！－－，．■．■：＜；、？，－？?。牐唬桑牐墸眨崳?？；＊＊－＇．：

3、．．．，．，；．．？．■■．．，■獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加ｍ示注和致謝的地方外，論文中不包含其他人已逐發(fā)表或撰寫過的研究成果，也不包含為獲得安徽大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。之學(xué)位論文作者簽名：故鋪礙簽字日期：辦占年ｒ月日７學(xué)位論文版權(quán)使用授權(quán)書、本學(xué)位論文作者完全了解安徽大學(xué)有關(guān)保留使

4、用學(xué)位論義的規(guī)定，有權(quán)保留并向國。家有關(guān)部口或機(jī)構(gòu)送交論文拘復(fù)印件和磁盤，允許論文被查閱和借閩本人按權(quán)安徽大學(xué)可Ｗ將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索Ｉ可巧采巧彰印、縮印或掃描等復(fù)制手段巧薦、匯編學(xué)位論文。（保密的學(xué)位論文在解密房適用本授權(quán)書＞學(xué)位論文僻簽名：漱誨堿導(dǎo)師簽名：［＾度看久簽字日期：年ｒ月么曰簽字曰期：年曰妙／備占＾７安徽大學(xué)碩±學(xué)位論文巧要摘要文本聚類技術(shù)作為文本挖掘中的一個(gè)技術(shù)分支，發(fā)揮著越來越重要的作用。文本聚類技術(shù)能夠?qū)⑾嗨频奈谋具M(jìn)行歸類，

5、方便了各個(gè)領(lǐng)域的人員從海量的文本信息中挖掘潛在的、有價(jià)值的信息。本文采用復(fù)旦大學(xué)中文文本語料庫進(jìn)行文本聚類研究，根據(jù)文本的相似度并結(jié)合相應(yīng)的聚類算法將相似的文本聚集成簇。因?yàn)橹形奈谋咀陨淼慕Y(jié)構(gòu)特點(diǎn)，在文本聚類之前需要對(duì)文本進(jìn)行相應(yīng)的文本預(yù)處理，即對(duì)文本進(jìn)行分詞并去除無用的停用詞ＩＣＴＣＬＡＳ）對(duì)文本分詞并使用哈工大停。本文使用中科院分詞系統(tǒng)（用詞表過濾停用詞。接著為了得到能夠有效表示文本內(nèi)容的特征詞，進(jìn)行特征詞的選擇。最后考慮到計(jì)算機(jī)不能直接處理非結(jié)構(gòu)或者半結(jié)構(gòu)的信息，本文采用向－－量空

6、間模型（ＶＳＭ）來表示文本、詞頻逆文檔頻率（ＴＦＩＤＦ）值來表示每個(gè)特征詞的權(quán)重值。通過分析文本處理的整個(gè)過程發(fā)現(xiàn)，如果直接將預(yù)處理后的關(guān)鍵詞直接組成向量空間模型，那么該模型就會(huì)存在著維度過離和數(shù)據(jù)元素稀疏問題。為了解決一其問題，本文ｉ首先分兩步對(duì)特征詞進(jìn)行篩選，第步使用卡方檢驗(yàn)的方法對(duì)特征二詞初步提取，得到特征詞集合，第步對(duì)特征詞集合進(jìn)行基于語義的層次聚類，合并恃征詞集合中同義或者相近的詞一。接著，計(jì)算過濾后特征詞集合中每個(gè)詞－的ＴＦＩＤＦ值并生成向量空間模型。然而，此時(shí)生成模型仍然具有著

7、高維度和元素稀疏的缺陷，，本文采用奇異值分解的方法找到向量空間模型的隱含語義空間，實(shí)現(xiàn)向量空間模型的降維并減少了噪聲點(diǎn)的干擾。通過Ｗ上方法的處理，保持了原有模型的特性，有效的降低了矩陣的維度，提高文本聚類的效率。文本降維處理后，接下來就是選擇合適的文本聚類算法。目前存在較多的文本聚類算法，根據(jù)聚類實(shí)現(xiàn)方法的不同大致可分為基于劃分、層次、密度、模型聚類方法。傳統(tǒng)的文本聚類算法存在需預(yù)先確定簇?cái)?shù)、無自組織等不足。所Ｗ本文采用了可Ｗ實(shí)現(xiàn)自組織的蟻群文本聚類算法作為最終的文本聚類算法。，基本算法

8、中也存在著諸多的不足通過分析基本的蟻群文本聚類算法可知，比如迭代的次數(shù)過多、媽蟻在二維平面中移動(dòng)過于隨機(jī)等等，這些因素影響了算法的收斂速度和文本聚類效果。本文在基本算法的基礎(chǔ)上，采用了幾種改進(jìn)的措Ｉ安徽大學(xué)碩±學(xué)位論文基于文本降維和蟻群算法的文本聚類研究施，它們分別是修改算法終止條件使算法的結(jié)束不在簡單的依賴