資源描述：
《基于主動學(xué)習(xí)的中文分詞方法研究.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、．‘去？＼Ｖ，？韋轉(zhuǎn)—￣——＿＇？－－－：？？－六－１０２９３公巧：、單位代碼：密級：Ｖ－—三ｒ之峽乂節(jié)＇崇細ＶＭ脅雀＾據(jù)寫皮垂＇ｉ．碩女＃像儉；ｆ屬撫ｉｊ＇．苗非繁ｉＲｉ査芒］攀，＇＇．．＾Ｋ：．參；ｋＨＷ與、｜《祭簡／式烏．一－１‘－々？叩一’■－．ｔ，乂．Ｖ、．．請啦聲。：＜＊＜－、．—占論文題目：基于主動學(xué)習(xí)的中義分詞方法石開究＇．？，？、?。墸牎ⅲ?？‘＇＇－：－ｒ．令，葦輪：Ｖ、．、導(dǎo)‘＇一＇：
2、涕叫鄉(xiāng)．餅；；Ｖ；．‘＇．－＞：＇：ｖ巧；２０４３１；Ｖ，＞、／；號１０１１１Ｔ學(xué)＼’＇’？＇ＩＩ’：‘尸＼’一冷Ｖ話’Ｉ嗦：、姓一；ｓ名梁喜濤＼氣＇’＾＾＾■導(dǎo)師一＾於＾；．．義讀帶４獻學(xué)科專業(yè)計算化應(yīng)用技術(shù)＿＿１；＇、處理硏究方向智能信肩■丟丟．編藏違軒？工學(xué)碩擊．；：＾申請學(xué)位類別＿｛聾茜：：鱗夢＞文２０１５／３／２論文提交日期’．＇、Ｊ減ｃ，．在／心．．：’’‘．．．產(chǎn)ｒ．皆聲！喔妾；起‘－－＇鑽；，叛；詔店縱古
3、ｆ的Ｖｖ；＇、＇立＾＇Ｃ屯淨(jìng)姆Ｊ．哨．－；一真苗為吃：ChineseWordSegmentationBasedonActiveLearningThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByLiangxitaoSupervisor:Prof.GuLeiMarch2015摘要中文分詞是中文信息處理領(lǐng)域內(nèi)的一個重要課題，傳統(tǒng)的分詞方法多基于統(tǒng)計模型，盡管可以取得不錯的效果，但是統(tǒng)計模
4、型依賴大量有標(biāo)注樣本，具有人工標(biāo)注樣本代價高的缺點。主動學(xué)習(xí)方法在解決分詞問題時會根據(jù)處理進程，選擇最合適的少量的樣本進行人工標(biāo)注，從而達到通過使用大量無標(biāo)注樣本來提高分詞效果的目的。因此，本文將主要研究基于主動學(xué)習(xí)的中文分詞方法。本文首先介紹了中文分詞的研究背景、研究意義和常用的分詞方法。接下來介紹了條件隨機場模型和主動學(xué)習(xí)方法，并對如何把條件隨機場模型和主動學(xué)習(xí)方法引入到分詞領(lǐng)域中做了闡述。最后重點介紹了本文提出的三種基于主動學(xué)習(xí)的中文分詞方法:1.提出了基于委員會投票的主動學(xué)習(xí)分詞方法。該方法的核心思想是通過集成學(xué)習(xí)方法來幫助構(gòu)建
5、委員會，選擇委員會投票分歧度最大的樣本作為最有價值的樣本進行人工標(biāo)注。2.提出了一種基于分層選擇策略的主動學(xué)習(xí)分詞方法。該方法的主要特點是在不確定性選擇方法基礎(chǔ)上，把分詞過程中的專有字符與其它漢字字符分開分別進行樣例選擇，另外該方法還可以通過計算實例間的差異性來解決重復(fù)標(biāo)注問題。3．提出了一種基于鄰域規(guī)則的主動學(xué)習(xí)分詞方法。該方法的與眾不同之處是利用未標(biāo)注樣本的鄰域集合熵值來進行樣例挑選，并且利用計算未標(biāo)注樣本同訓(xùn)練集合的歐氏距離來增加樣本集合的多樣性。關(guān)鍵詞:自然語言處理，中文分詞，主動學(xué)習(xí)，選擇策略IAbstractChinesew
6、ordsegmentation(CWS)isanimportanttaskinChineselanguageprocessing.Mostoftraditionalsegmentationmethodsarebasedondictionaryandstatisticalmodel,buttheyallneedalargenumberoflabeledsamples.Activelearningcanusetheselectionstrategytochoosesomemostvaluablesamplesfromabundantunla
7、beledsamplesinthetrainingprocess,andemploythesechosensamplestoimprovetheperformanceofChinesewordsegmentation.SoactivelearningisstudiedandsomeChinesewordsegmentationalgorithmsareproposedinthisdissertation.Inthisdissertation,firstly,theresearchbackgroundandmethodsofCWSisin
8、troduced.Secondly,someactivelearningschemesarereviewedandsometheoreticalresearchissuesandapplicationsat
