基于支持向量機(jī)的文本分類算法的研究與實現(xiàn)

《基于支持向量機(jī)的文本分類算法的研究與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、.學(xué)號：2009030114哈爾濱師范大學(xué)學(xué)士學(xué)位論文題目基于支持向量機(jī)的文本分類算法研究與實現(xiàn)學(xué)生李慧穎指導(dǎo)教師李紅宇副教授年級2009級專業(yè)計算機(jī)科學(xué)與技術(shù)系別計算機(jī)科學(xué)與技術(shù)學(xué)院計算機(jī)科學(xué)與信息工程...哈爾濱師范大學(xué)學(xué)士學(xué)位論文開題報告論文題目：基于支持向量機(jī)的文本分類算法研究與實現(xiàn)學(xué)生姓名：李慧穎指導(dǎo)教師：李紅宇年級：2009級專業(yè)：計算機(jī)科學(xué)與技術(shù)2013年3月1日...課題來源：指導(dǎo)教師指導(dǎo)選題課題研究的目的和意義：隨著計算機(jī)技術(shù)的飛速發(fā)展以及Internet的普及與應(yīng)用，互聯(lián)網(wǎng)上的電子文檔信息急劇增加。如何從大量的信息中快速、準(zhǔn)確地檢索到所需的信

2、息資料，是人們普遍關(guān)心的問題，也是計算機(jī)工作者急需解決的問題。面對如此復(fù)雜的問題，分類技術(shù)在信息檢索、信息過濾、數(shù)據(jù)挖掘等方面起著至關(guān)重要的作用。而網(wǎng)上的大部分信息以文本的形式存在，于是文本自動分類技術(shù)就成為網(wǎng)上信息檢索和信息過濾的關(guān)鍵。另外，文本分類可以應(yīng)用到垃圾郵件的判定(spamornotspam)，類別｛spam,not-spam｝；新聞出版按照欄目分類，類別｛政治，體育，軍事…．｝；詞性標(biāo)注，類別｛名詞，動詞，形容詞…）；詞義排歧，類別｛詞義１，詞義２…．），文本檢索，文本過濾以及主題發(fā)現(xiàn)與跟蹤等。而從Springer全文電子期刊與IEL(IEE,IE

3、EE)數(shù)據(jù)庫中，可以看到最近的期刊與國際會議論文，有大量的關(guān)于文本分類的文章，說明隨著大量的網(wǎng)上的電子信息，文本分類仍是人們研究的熱點。面對網(wǎng)上的海量信息，傳統(tǒng)的做法是對網(wǎng)上信息進(jìn)行人工分類，并加以組織和整理，為人們提供一種相對有效的信息獲取手段。但是，這種傳統(tǒng)的人工分類的做法存在著許多弊端：一是耗費大量的人力，物力和精力；二是存在分類結(jié)果一致性不高的問題。這就要求我們探索計算機(jī)自動進(jìn)行文本分類的有效方法，使得分類的正確率提高。只有這樣才能保證檢索的查全率和準(zhǔn)確率都得到提高。文本自動分類是人工智能技術(shù)和信息檢索技術(shù)相結(jié)合的研究領(lǐng)域，是進(jìn)行基于內(nèi)容的自動信息管理的

4、核心技術(shù)。文本分類是指根據(jù)一些已經(jīng)分配好類標(biāo)簽（這些類標(biāo)簽預(yù)先定義好）的訓(xùn)練文檔集合，來對新文檔分配類標(biāo)簽，其目的就是對文本集進(jìn)行合理處理和組織，使得這些文本能夠按照類別區(qū)分開來。作為知識的組織工具，它為信息檢索提供了更高效的搜索策略和更準(zhǔn)確的查詢結(jié)果，其中，高效性在于用戶可以首先確定查詢的可能類別，以減小需進(jìn)一步匹配的文本數(shù)量：有效性在于相似的文本很可能與相同的查詢相關(guān)，這樣使得檢索的查全率和準(zhǔn)確率都得到了提高。...國內(nèi)外同類課題研究現(xiàn)狀及發(fā)展趨勢：1.國外文本自動分類主要經(jīng)歷了四個發(fā)展階段：第一階段(1958——1964)：研究文本自動分類的可能性；第二階

5、段(1965——1974)：進(jìn)入文本自動分類的實驗性階段；第三階段(1975——1998)：文本自動分類的實用性階段；第四階段(1990——至今)：因特網(wǎng)文本自動分類研究階段。在20世紀(jì)80年代術(shù)以前，基于知識工程的方法一直在文本分類方法中占主導(dǎo)地位。這種方法是由專業(yè)人員手工編寫分類規(guī)則來表達(dá)領(lǐng)域?qū)＜宜鶕碛械闹R，將文檔分到某個給定的類別體系中。這種方法需要有領(lǐng)域?qū)＜?，還需要知識工程師手工編制大量的推理規(guī)則。其最典型的應(yīng)用是卡內(nèi)基集團(tuán)為路透社開發(fā)的Construe系統(tǒng)。90年代以來，隨著模式識別、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)習(xí)、數(shù)據(jù)挖掘等理論研究的發(fā)展，新型機(jī)器學(xué)習(xí)方法的不

6、斷涌現(xiàn)，基于機(jī)器學(xué)習(xí)的分類技術(shù)開始取代基于知識工程的方法，成為文本分類的主流技術(shù)。2．國內(nèi)文本自動分類研究起步較晚，始于20世紀(jì)80年代初期。1981年侯漢清對計算機(jī)在文獻(xiàn)分類工作中的應(yīng)用作了探討，并介紹了國外在計算機(jī)管理分類表、計算機(jī)分類檢索、計算機(jī)自動分類、計算機(jī)編制分類表等方面的概況。此后，有越來越多的人借鑒國外的一些研究成果，結(jié)合中文的特點進(jìn)行中文文本自動分類的研究。中科院計算所的李曉黎、史忠植等人應(yīng)用概念推理網(wǎng)進(jìn)行文本分類。復(fù)旦大學(xué)的周水庚等人用了N-gram方法對中文文本進(jìn)行分類嘗試，從文檔中提取N-gram屬性，然后用ON方法判別文本類別，擺脫了對

7、詞典和切詞處理的依賴，實現(xiàn)文本分類的領(lǐng)域無關(guān)性和時間無關(guān)性。刁力力、石純一等用Boosting來組合決策樹（Stllnlps）的方法進(jìn)行文本分類。卜東波從信息粒度的角度來剖析聚類和分類技術(shù)，試圖使用信息粒度原理的框架來統(tǒng)一聚類和分類。龐劍峰等應(yīng)用向量空問模型進(jìn)行了中文文本分類實驗，并同時對文本分類所涉及的關(guān)鍵性技術(shù)，例如特征提取，不同機(jī)器學(xué)習(xí)方法等進(jìn)行了研究和探討，給出了評估方法和實驗結(jié)果。之后他又驗證了在文本分類系統(tǒng)中應(yīng)用反饋方法的可行性，給出了結(jié)合反饋方法的文本分類算法。...課題研究的主要內(nèi)容和方法，研究過程中的主要問題和解決辦法：本文在研究文本分類和支持

8、向量機(jī)理論的基礎(chǔ)上，針對