資源描述：
《基于語(yǔ)義過(guò)濾的文本和文本流聚類研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、中山大學(xué)碩士學(xué)位論文基于語(yǔ)義過(guò)濾的文本和文本流聚類研究專業(yè)名稱計(jì)算機(jī)軟件與理論學(xué)位申請(qǐng)人導(dǎo)師姓名蔡嘉榮印鑒教授研究方向信息處理與數(shù)據(jù)挖掘答辯委員會(huì)主席(簽名)答辯委員會(huì)委員(簽名)一曼蘊(yùn)掐——中山大學(xué)信息科學(xué)與技術(shù)學(xué)院二oo七年五月基于語(yǔ)義過(guò)濾的文本和文本流聚類研究論文題目專業(yè)碩士生指導(dǎo)教師計(jì)算機(jī)軟件與理論蔡嘉榮印鑒教授，劉玉葆講師摘要文本聚類是信息索91．信息檢索以及WEB挖掘中一個(gè)重要的步驟，是數(shù)據(jù)挖掘的重要領(lǐng)域之一．在許多實(shí)際應(yīng)用中，如新聞組過(guò)濾、主題跟蹤等，文本是以連續(xù)的流數(shù)據(jù)形式出現(xiàn)，這給傳統(tǒng)的基于靜態(tài)文本數(shù)據(jù)集的聚類算法帶來(lái)巨大的挑戰(zhàn)．但無(wú)論是離線靜態(tài)
2、文本聚類還是在線動(dòng)態(tài)文本流聚類，現(xiàn)有的算法往往因?yàn)椴荒苡行幚砦谋局袕?fù)雜的語(yǔ)義，導(dǎo)致聚類精確度不高。具體來(lái)說(shuō)，這主要是由于現(xiàn)實(shí)文本常常包含過(guò)多的“通用詞”和過(guò)少的“核心詞”而造成的。最近，信息檢索領(lǐng)域中的語(yǔ)義過(guò)濾技術(shù)被提出來(lái)解決這一問題，并取得了不錯(cuò)的效果。它運(yùn)用多詞短語(yǔ)作為主題簽名，并使用翻譯轉(zhuǎn)換模型來(lái)引入文本中沒有的核心詞，從而達(dá)到減少通用詞的影響并增強(qiáng)核心詞的作用的目的。在文本聚類領(lǐng)域具有廣闊的應(yīng)用前景。我們對(duì)現(xiàn)有的語(yǔ)義過(guò)濾模型進(jìn)行了研究，首先針對(duì)現(xiàn)有模型通用詞削弱能力不夠強(qiáng)的問題，提出一種改進(jìn)模型，并把該模型與基于靜態(tài)文本集的聚類算法相結(jié)合，實(shí)驗(yàn)表明該算法
3、能大幅度提高現(xiàn)有靜態(tài)文本聚類算法的聚類精確度。然后在語(yǔ)義過(guò)濾技術(shù)基礎(chǔ)上，提出了一種包含文本語(yǔ)義的聚類信息結(jié)構(gòu)即聚類輪廓(clusterprofile)，并給出了一種有效的適用于大規(guī)模動(dòng)態(tài)文本流環(huán)境的在線聚類算法。該算法能有效解決文本流中的語(yǔ)義問題，能極大提高語(yǔ)義文本流的聚類精確度和穩(wěn)定性。通過(guò)多組實(shí)驗(yàn)數(shù)據(jù)比較，進(jìn)一步證明了算法的有效性和高效性。關(guān)鍵詞：語(yǔ)義過(guò)濾，文本聚類，文本流聚類第1貞基于語(yǔ)義過(guò)濾的文本和文本流聚類研究TitleClusteringStaticCorpusandDynamicTextStreamsbasedonSemanticSmoothingM
4、ajorComputerSoftwareandTheoryNameCaiJiarongSupervisorProf．YinJianandLect．LiuYubaoABSTRACTClusteringtextdocumentsintodifferentcategorygroupsis∞importantstepinindexing，retrieval，managementandminingofabundanttextdataontheWeborincor-porateinformationsystems．Manytextminingapplicationssucha
5、snewsgroupfiltering，topicdetection，textcrawling，anddocmnentorganizationrequirerealtimeclustering，inwhichtextdataCOme∞acontinuousstream．Thispresentsmanychallengestotradi-tionaltextmining．However，nomatterstatictextordynamictextstreams，theexistingmethodsfailtogethighclusteringaccuracybec
6、auseofthecomplexsemanticsofthetext．Inapplication，thisisbecausemostdocumentsareoftenfullofclass-independent‘'general”wordsandshortofclass-specific"core"words．Recently,semanticsmooth-ing，whichhasbeenwidelystudiedinthefieldofInformationRetrieval，isproposedasanefficientsolution．Context-se
7、nsitivesemanticsmoothingapproachemploysmul-tiwordphraseastopicsignatureandllsestranslationmodeltodiscountgeneralwordsandassignreasonablecountstounseenCorewords，whichmakesitpromisingfortextclustering．Basedontheresearchoftheexistingmodel，thispaperproposesanimprovedsemanticsmoothingmodel
8、forcl
