現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)

《現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)吳云芳北京大學(xué)計算語言學(xué)研究所2005-08-15報告提綱目標(biāo)總體思路輔助軟件成果展示難點分析目標(biāo)建成2－3個具有國際先進(jìn)水平（或規(guī)模最大）的數(shù)據(jù)資源庫并制定相應(yīng)的規(guī)范或標(biāo)準(zhǔn)?！?73項目“數(shù)字內(nèi)容理解的理論與方法”預(yù)期目標(biāo)之一我們的目標(biāo)：建設(shè)成為規(guī)模最大、質(zhì)量上乘的具有國際先進(jìn)水平的現(xiàn)代漢語詞義標(biāo)注語料庫。具體運(yùn)用意義：是詞義自動消歧（WSD）的數(shù)據(jù)基礎(chǔ),進(jìn)而提升信息檢索、機(jī)器翻譯等系統(tǒng)的應(yīng)用水平。是現(xiàn)代漢語詞匯語義研究的資源庫?？傮w思路——粗粒度到細(xì)粒度的兩步走策略1.粗粒度標(biāo)注——基于《現(xiàn)代漢語語法信息詞典》中的“同形

2、”信息填補(bǔ)《現(xiàn)代漢語語法信息詞典》和語料庫的縫隙2.細(xì)粒度標(biāo)注——在“同形”基礎(chǔ)上進(jìn)行更適應(yīng)于語言信息處理的義項區(qū)分現(xiàn)代漢語語義詞典（含6萬實詞）——《現(xiàn)代漢語語法信息詞典》的擴(kuò)充，面向機(jī)器翻譯。動詞庫部分信息樣例（增加了“義項”等字段）詞語詞類同形義項語義類釋義英譯配價主體客體與事沖vA1創(chuàng)造沖茶make(tea)2人固飲沖vA2促變沖膠卷develop(afilm)2人材料沖vA3促變沖盤子rinse(aplate)2人器皿沖vB位移沖鋒charge1動物總體思路——語義詞典和詞義標(biāo)注語料的互動構(gòu)建語義詞典詞義標(biāo)注語料庫詞語多義區(qū)分詞義自動消歧1.詞語義項

3、的區(qū)分一個詞可以分割為幾個義項？2.真實文本中詞語義項的確定在一定上下文中這個詞語表示什么意義？總體思路——語義詞典和詞義標(biāo)注語料的互動構(gòu)建語義詞典詞義標(biāo)注語料詞義標(biāo)注義項區(qū)分面向大規(guī)模真實文本的詞語義項標(biāo)注規(guī)范一方面依據(jù)《語義詞典》中的義項信息對語料中的多義詞進(jìn)行詞義標(biāo)注，一方面依據(jù)詞語在語料中的句法表現(xiàn)（syntacticbehavior）對詞典中的義項區(qū)分作出調(diào)整，詞典和語料形成一個互動良性的發(fā)展?？傮w思路——詞義標(biāo)注語料的滾雪球似增長基本標(biāo)注語料（詞語切分、詞性標(biāo)注）人工詞義標(biāo)注小規(guī)模詞義標(biāo)注語料庫機(jī)器學(xué)習(xí)詞義自動消歧人工校對大規(guī)模詞義標(biāo)注語料庫詞義標(biāo)注

4、校對輔助軟件體現(xiàn)了總體思路，提高了工作效率。成果展示——詞義標(biāo)注語料庫從/p科學(xué)/a的/u蒼穹/n上{shang5}/f!B$，/wd采/v來/v!4-4日輝/n、/w月華/n、/w星/n芒/Ng，/wd每天/r為{wei4}/p!B1$我/r的/u祖國/n，/wd深情/d獻(xiàn)/v一/m掬/q科技/n之/u光/n。/wj”/w這/r是/v!B1$大家/r的/u座右銘/n。/wj有人/r對/p《/wkz科技/n之/u光/n》/w做/v!2$過/u這樣/r的/u評價/v：/w“/w長城/n!0-2上{shang5}/f!B$的/u每/r一/m塊/q!1$磚/n拆/v下

5、來/v單獨/d看{kan4}/v!B2-1，/wd是/v!B1$普通/a甚至/c粗糙/a的/u，/w但/c壘/v在/p一起/s卻/d變/v!1$得/u蔚為/v壯觀/a，/w令/v人/n驚嘆/v。/w”/w今天/t《/w科技/n之/u光/n》/w已經(jīng)/d成/v了/u在/p國內(nèi)外/s有/v!1$一定/b知名度/n的/u電視/n品牌/n。/w成果匯總在《人民日報》基本標(biāo)注語料的基礎(chǔ)上：1.完成了270萬語料的同形標(biāo)注；2.完成了46個動詞的義項區(qū)分，并標(biāo)注8639義項；3.完成了150個名詞的義項區(qū)分，并標(biāo)注6000多義項；4.正在進(jìn)行形容詞義項區(qū)分和標(biāo)注。難點分析語

6、義詞典詞義標(biāo)注語料庫詞語多義區(qū)分詞義自動消歧1.詞語義項的區(qū)分一個詞可以分割為幾個義項？2.真實文本中詞語義項的確定在一定上下文中這個詞語表示什么意義？面向大規(guī)模真實文本的語言處理難點分析——示例【電話】①利用電流使兩地的人互相交談的裝置（《現(xiàn)漢》）②用電話裝置傳遞的話a.24/m小時/n值班/v守/v電話/n①？②？b.公布/v3/m部/q征求/v意見/n電話/n①？②？If電話＝①，Then守+電話不符合語用。If電話＝②，Then守+電話Fail.b.If電話＝①，Then公布+電話Fail.If電話＝②，Then3部+電話Fail.難點分析——示例關(guān)于詞

7、語意義的一點認(rèn)識：內(nèi)容和載體是一個事物不可分割的兩方面意義，存在著句法結(jié)構(gòu)混合運(yùn)用的情形，即可能存在著意義和結(jié)構(gòu)搭配錯位的情形。擴(kuò)展法消歧：a.24小時值班守電話——結(jié)果電話丟了。（??）——結(jié)果一個電話也沒人打來。②!b.公布3部征求意見電話——歡迎隨時安裝。（**）——歡迎隨時撥打。②!難點之解決系列文章：信息處理用詞語義項區(qū)分的原則和方法信息處理用動詞義項的區(qū)分信息處理用名詞義項的區(qū)分信息處理用形容詞義項的區(qū)分信息處理用虛詞義項的區(qū)分請您批評，謝謝！