淺論基于統(tǒng)計的開放式漢語自動分詞

《淺論基于統(tǒng)計的開放式漢語自動分詞》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、大連理工大學碩士學位論文基于統(tǒng)計的開放式漢語自動分詞姓名：關宏超申請學位級別：碩士專業(yè)：計算機應用技術指導教師：黃德根20020301摘要漢語自動分詞是中文信息處理中的重要環(huán)節(jié)?；诮y(tǒng)計的漢語自動分詞方法存在訓練數(shù)據稀疏的問題，而人工標注工作量過大又制約著語料庫規(guī)模的進一步擴大。本文在基于統(tǒng)計的漢語自動分詞的基礎上，引入開放學習機制，通過有監(jiān)督和無監(jiān)督相結合的學習方法，建立包含可信度修正和部分三元語法信息的多元分詞模型。然后討論了切分算法和人機交互等幾個實現(xiàn)中的具體問題。通過實驗確定模型參數(shù)和閾值。實驗結果表明，引入開放學習機制的分詞模型，閉式

2、分詞正確率達到99．07％和開式分詞正確率達到98．08％，同時增強了分詞系統(tǒng)的適應性和消歧能力。關鍵詞自然語言處理：漢語分詞；語料庫；語法模型；開放學習AbstractTheChiFleseautomatiowordsegmentationisanimportantpartintheChineseinformatiOllprocessing．Themethodbasedonstatisticshastheproblemoftrainingdata’srarefaetion．andwhatrestrictsthemoreprogressofco

3、rpusisthetoolargeworklpad02manualtagglng．RefertoChineseautomaticwordsegmentationbasedonstatistics，thispaperimportsthemechanismofopenlearning，andusesthemethodofsupervisedanduilsupervisedlearning．Thewordsegmentationmodelincludescredibi[ityrevisingandpartialtri—graminformation．

4、Thenitdiscussesseveralproblemssuchassegmentationalgorithmandhuman—computerinterfaceduringsystemimplementing．Theargumentsandthresholdsofthemodelaredeterminedthroughtheexperiments．Thetestresultshowsthat，withtheopenlearningmodel，theclosesegmentationaccuracycanreach99．07％whileth

5、eopenone98．08％，andthereisagoodadaptabilityanddisambiguationabilityofthesystem．KeyWordsNaturalLanguageOorpus：GrammarModeI：OpenProcessing：ehineseSegmentalionLearning基于統(tǒng)計的開放式漢語自動分詞0．引言0．1．問題的提出自然語言處理是當前計算機領域的一個研究熱點。語言作為交流工具，在人類活動中有著舉足輕重的作用，因此，人們在大量應用計算機來替代自己的工作的同時，也期待計算機在自然語言的處

6、理上能接近甚至達到人的水平。自然語言處理(NLP)的目標是使計算機在各種各樣的自然語言交流中成為流利的對象。顯然，如果沒有足夠深刻的領域知識。計算機不可能滿足人類的要求。自然語言處理作為人工智能的一個分支，在自然語言人機接口、機器翻譯、文摘生成等等方面有很多的工作都正在進行。111漢語自動分詞是中文信息處理中的重要環(huán)節(jié)。漢語是以字而不是詞作為語言的基本構造單位，尤其是在書面漢語中，詞與詞之間完全缺乏形態(tài)上的晃限。漢語自動分詞在中文信息處理的以下方面都有很重要的意義：1同音字的據音辨字；2多音字的據字辨音：3漢字的簡一繁體轉換；4信息檢索和信息摘

7、錄；5文本分類和自動文摘：6漢字的偵錯與糾錯：7詞語的計詹分析：8自然語言理解?！?1自然語言理解是語言處理的最終目標，而漢語分詞處于詞法、句法、語義等語言層次的最低層，是中文信息處理中是基本也是很重要的基礎環(huán)節(jié)。漢語口語中的音節(jié)變化，對詞的界定有一定的幫助，但由于涉及語音處理等問題，我們暫不做研究。本文討論的漢語自動分詞問題僅指書面漢語領域的研究。0．2．漢語自動分詞的發(fā)展自80年代初提出漢語自動分詞以來，在語言學家和計算機學家的共同努力下，在書面漢語的自動分詞方面已經取得了綴大進展，并且已經有～些很有實用價值的自動分詞系統(tǒng)出現(xiàn)。漢語自動分詞

8、方面的工作主要有詞的判定、分詞算法、知識獲取和系統(tǒng)實現(xiàn)等諸多內容。詞的判定方面，主要研究分詞規(guī)范的制定、詞典的構造以及構詞規(guī)則等方面的內容。分詞標準也