《文本挖掘概述》PPT課件

《《文本挖掘概述》PPT課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第四節(jié)文本挖掘概述一、文本挖掘的定義文本挖掘是數(shù)據(jù)挖掘的一個(gè)分支。將文本型信息源作為分析對(duì)象，利用智能算法，如神經(jīng)網(wǎng)絡(luò)、基于案例的推理等，并結(jié)合文字處理技術(shù)，分析大量的非結(jié)構(gòu)化文本源（如文檔、網(wǎng)頁、企業(yè)管理日志等），從中尋找信息的結(jié)構(gòu)、模型、模式等各種隱含的知識(shí)。文本挖掘就是利用計(jì)算機(jī)的高速度和海量處理能力，來幫助人們處理文本信息。一、文本挖掘的定義文本挖掘（textmining）：是指抽取有效、新穎、有用、可理解的、散布在文本文件中的有價(jià)值知識(shí)，并且利用這些知識(shí)更好地組織信息的過程。Textdatamining、knowledgedi

2、scoveryfromtextualdatabases二、文本挖掘的作用提高了海量非結(jié)構(gòu)化信息源的利用價(jià)值；使得人們能夠更加方便地從海量文本中發(fā)現(xiàn)隱含的知識(shí)；為企業(yè)的戰(zhàn)略決策提供競(jìng)爭(zhēng)情報(bào)的支持文本挖掘的過程相對(duì)于數(shù)據(jù)挖掘而言，文本挖掘技術(shù)還不成熟。文本數(shù)量巨大，結(jié)構(gòu)不統(tǒng)一，處于動(dòng)態(tài)變化中；自然語言理解理論在語言的深層理解方面沒有根本性的突破，致使文本處理的準(zhǔn)確度不高，文本挖掘的效果不夠理想。計(jì)算機(jī)理解語言的能力非常有限！三、文本挖掘的關(guān)鍵技術(shù)文本預(yù)處理文本分類文本聚類文本自動(dòng)摘要文本的向量空間表示文本特征提取文本相似度為什么要進(jìn)行文本分

3、析？文本是以文字串形式表示的數(shù)據(jù)文件。文本分析過程即通過文本分析，從中找出一些特征以便將來使用。文本分析包括語種識(shí)別、特征提取、文本聚類和文本分類等。為什么要進(jìn)行文本分析？把從文本中抽取出的特征詞進(jìn)行量化來表示文本信息。將它們從一個(gè)無結(jié)構(gòu)的原始文本轉(zhuǎn)化為結(jié)構(gòu)化的計(jì)算機(jī)可以識(shí)別處理的信息，即對(duì)文本進(jìn)行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用以描述和代替文本。使計(jì)算機(jī)能夠通過對(duì)這種模型的計(jì)算和操作來實(shí)現(xiàn)對(duì)文本的識(shí)別。三、文本挖掘的關(guān)鍵技術(shù)文本表示是指用文本的特征信息集合來代表原來的文本。目前，在信息處理領(lǐng)域，文本的表示方法主要是采用向量空間模型（V

4、ectorSpaceModel，VSM）。向量是既有大小又有方向的量。文本預(yù)處理文本的向量空間表示三、文本挖掘的關(guān)鍵技術(shù)向量空間模型的基本思想是以向量來表示文本：（W1，W2，W3……Wn），其中Wi為第i個(gè)特征項(xiàng)的權(quán)重。特征項(xiàng)一般選用字、詞或詞組。因此要將文本表示為向量空間中的一個(gè)向量，就首先將文本分詞，用這些詞作為向量的維數(shù)來表示文本。最初的向量表示完全是0、1的形式。但這種形式無法體現(xiàn)詞在文本中的作用程度，故0、1逐漸被更精確的詞頻代替。文本預(yù)處理三、文本挖掘的關(guān)鍵技術(shù)語種識(shí)別工具能自動(dòng)發(fā)現(xiàn)文本使用的語種。這類工具應(yīng)用文本內(nèi)容的一

5、些線索來識(shí)別語種。通常用機(jī)器領(lǐng)域里的算法，利用相應(yīng)語種的訓(xùn)練文本進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)識(shí)別的目的。語種識(shí)別四、文本挖掘的關(guān)鍵技術(shù)用于表示文本的基本單位通常稱為文本的特征或特征項(xiàng)。在中文文本中可以采用字、詞或短語作為表示文本的特征項(xiàng)。特征提取主要是使用自動(dòng)的提取過程，識(shí)別文本中詞項(xiàng)的意義。特征提取對(duì)掌握該文本的內(nèi)容很重要，是一種強(qiáng)有力的文本挖掘工具。在一篇文本中，標(biāo)題是該文本的高度概括，文本中的特征，如人命、地名、組織名等是文本中的主體信息。特征提取四、文本挖掘的關(guān)鍵技術(shù)特征是概念的外在表現(xiàn)形式，特征提取是識(shí)別潛在概念結(jié)構(gòu)的重要基礎(chǔ)。利用自動(dòng)

6、標(biāo)引技術(shù)可以對(duì)文本進(jìn)行特征標(biāo)引。對(duì)漢語文本進(jìn)行特征抽取時(shí)，需要先對(duì)文本進(jìn)行分詞處理。特征提取分詞實(shí)例和平民主和平、民主和、平民、主提高人民生活水平提高、高人、人民、民生、生活、活水、水平四、文本挖掘的關(guān)鍵技術(shù)利用計(jì)算機(jī)抽取西文關(guān)鍵詞，首先要建立一個(gè)以介詞、冠詞、連詞等無實(shí)質(zhì)意義的單詞組成的停用詞表（stopwords），然后利用創(chuàng)建的停用詞表，從被標(biāo)引的文本中篩去停用詞，抽取關(guān)鍵詞。分詞：英文分詞一般采用keyword，無需分詞，單詞之間有空格分開。stopwords：指文檔中出現(xiàn)的連詞，介詞，冠詞等并無太大意義的詞。例如在英文中常用的

7、停用詞有the，a,it等；在中文中常見的有“是”，“的”，“地”等。索引詞（標(biāo)引詞，關(guān)鍵祠）:可以用于指代文檔內(nèi)容的預(yù)選詞語,一般為名詞或名詞詞組。NaturalLanguageProcessingAdogischasingaboyontheplaygroundDetNounAuxVerbDetNounPrepDetNounNounPhraseComplexVerbNounPhraseNounPhrasePrepPhraseVerbPhraseVerbPhraseSentenceDog(d1).Boy(b1).Playground(p

8、1).Chasing(d1,b1,p1).語義分析詞匯分析(詞性標(biāo)注)語法分析Apersonsayingthismayberemindinganotherpersontogetthedogback…語用分析