中文文本分詞及詞性標(biāo)注自動校對方法研究

《中文文本分詞及詞性標(biāo)注自動校對方法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、中文文本分詞及詞性標(biāo)注自動校對方法研究【摘要】：語料庫建設(shè)是中文信息處理研究的基礎(chǔ)性工程。漢語語料的基本加工過程，包括自動分詞和詞性標(biāo)注兩個階段。自動分詞和詞性標(biāo)注在很多現(xiàn)實應(yīng)用(中文文本的自動檢索、過濾、分類及摘要，中文文本的自動校對，漢外機(jī)器翻譯，漢字識別與漢語語音識別的后處理，漢語語音合成，以句子為單位的漢字鍵盤輸入，漢字簡繁體轉(zhuǎn)換等)中都扮演著關(guān)鍵角色，為眾多基于語料庫的研究提供重要的資源和有力的支持。語料庫的有效利用在很大程度上依賴于語料庫切分和標(biāo)注的層次和質(zhì)量。當(dāng)前對漢語語料的加工結(jié)果，雖已取得了一

2、定的成績，但國家的評測結(jié)果表明，其離實際需要的差距還是很大的，還有待于進(jìn)一步的提高。本文以進(jìn)一步提高漢語語料庫分詞和詞性標(biāo)注的正確率，提高漢語語料的整體加工質(zhì)量為目標(biāo)，分別針對語料加工中的分詞和詞性標(biāo)注兩個階段進(jìn)行了研究和探討：1．討論和分析了自動分詞的現(xiàn)狀，并針對分詞問題，提出了一種基于規(guī)則的中文文本分詞自動校對方法。該方法通過對機(jī)器分詞語料和人工校對語料的學(xué)習(xí)，自動獲取中文文本的分詞校對規(guī)則，并應(yīng)用規(guī)則對機(jī)器分詞結(jié)果進(jìn)行自動校對。2．討論和分析了詞性標(biāo)注的現(xiàn)狀，并針對詞性標(biāo)注問題，提出了一種基于粗糙集的兼類

3、詞詞性標(biāo)注校對規(guī)則的自動獲取方法。該方法以大規(guī)模漢語語料為基礎(chǔ)，利用粗糙集理論及方法為工具，挖掘兼類詞詞性標(biāo)注校對規(guī)則，并應(yīng)用規(guī)則對機(jī)器標(biāo)注結(jié)果進(jìn)行自動校對。3．設(shè)計和實現(xiàn)了一個中文文本分詞及詞性標(biāo)注自動校對實驗系統(tǒng)，并分別做了封閉測試、開放測試及結(jié)果分析。根據(jù)實驗，分詞校對封閉測試和開放測試的正確率分別為93.75％和81.05％；詞性標(biāo)注校對封閉測試和開放測試的正確率分別為90.40％和84.85％?！娟P(guān)鍵詞】：分詞自動校對詞性標(biāo)注自動校對粗糙集中文信息處理語料庫加工質(zhì)量保證【學(xué)位授予單位】：山西大學(xué)【學(xué)位

4、級別】：碩士【學(xué)位授予年份】：2003【分類號】：TP391.12【目錄】：1引言8-141.1語料庫加工及其意義81.2語料庫加工現(xiàn)狀及分析8-121.2.1機(jī)器自動加工現(xiàn)狀8-101.2.2分詞及詞性標(biāo)注校對現(xiàn)狀10-121.3本論文的主要工作12-142基于規(guī)則的分詞自動校對14-222.1問題提出142.2分詞校對規(guī)則的自動獲取14-182.2.1分詞校對知識的獲取及表示15-162.2.2分詞校對規(guī)則的生成16-182.3分詞自動校對18-212.3.1自動校對算法18-192.3.2機(jī)器學(xué)習(xí)19-2

5、12.4規(guī)則的評價及規(guī)則集維護(hù)21-223基于粗糙集的兼類詞詞性自動校對22-313.1問題提出223.2相關(guān)理論簡介22-243.2.1知識表達(dá)系統(tǒng)及決策表22-233.2.2決策表的約簡23-243.3構(gòu)建詞性校對決策表24-273.3.1詞性校對決策表的建立24-253.3.2詞性校對決策表屬性的約簡25-273.4詞性校對規(guī)則集的生成27-293.4.1規(guī)則一致化27-283.4.2規(guī)則集的評價及優(yōu)化28-293.5詞性自動校對29-314中文文本分詞及詞性標(biāo)注自動校對實驗系統(tǒng)31-404.1中文文本分

6、詞自動校對系統(tǒng)31-344.1.1中文文本分詞自動校對系統(tǒng)結(jié)構(gòu)31-324.1.2各模塊主要功能32-334.1.3測試結(jié)果及分析33-344.2中文文本詞性標(biāo)注自動校對系統(tǒng)34-404.2.1中文文本詞性標(biāo)注自動校對系統(tǒng)結(jié)構(gòu)34-354.2.2各模塊主要功能35-364.2.3測試結(jié)果及分析36-405結(jié)束語40-41致謝41-42參考文獻(xiàn)42-44本論文購買請聯(lián)系頁眉網(wǎng)站。