資源描述：
《Python自然語(yǔ)言處理實(shí)戰(zhàn)：兩篇文章相似度清晰透明.doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、Python自然語(yǔ)言處理實(shí)戰(zhàn)：兩篇文章相似度清晰透明 此書(shū)專注于中文的自然語(yǔ)言處理，以Python及其相關(guān)框架為工具，以實(shí)戰(zhàn)為導(dǎo)向，詳細(xì)講解了自然語(yǔ)言處理的各種核心技術(shù)、方法論和經(jīng)典算法。三位作者在人工智能、大數(shù)據(jù)和算法領(lǐng)域有豐富的積累和經(jīng)驗(yàn)，是阿里巴巴、前明略數(shù)據(jù)和七牛云的資深專家。同時(shí)，本書(shū)也得到了阿里巴巴達(dá)摩院高級(jí)算法專家、七牛云AI實(shí)驗(yàn)室Leader等專家的高度評(píng)價(jià)和鼎力推薦。 本節(jié)將利用訓(xùn)練好的詞向量和段落向量對(duì)兩篇關(guān)于天津全運(yùn)會(huì)的新聞進(jìn)行向量化，并計(jì)算兩篇新聞的相似度。如下是兩
2、篇新聞： 新聞1：6日，第十三屆全運(yùn)會(huì)女子籃球成年組決賽在天津財(cái)經(jīng)大學(xué)體育館打響，中國(guó)籃協(xié)主席姚明到場(chǎng)觀戰(zhàn)。姚明在接受媒體采訪時(shí)表示，天津全運(yùn)會(huì)是全社會(huì)的體育盛會(huì)，他稱贊了賽事保障與服務(wù)工作，并表示中國(guó)籃協(xié)將在未來(lái)的工作中挖掘天津籃球文化的價(jià)值?！ ”緦锰旖蛉\(yùn)會(huì)增加了包括攀巖、馬拉松、象棋在內(nèi)的19個(gè)大項(xiàng)的群眾體育比賽項(xiàng)目，普通群眾成為賽場(chǎng)“主角”。對(duì)此，姚明表示：“引入群眾性的體育項(xiàng)目，真正做到了全運(yùn)會(huì)的‘全’字，這不僅僅是專業(yè)運(yùn)動(dòng)員的盛會(huì)，更是全社會(huì)的體育盛會(huì)?！闭劶氨緦萌\(yùn)會(huì)
3、賽事籌備與保障服務(wù)時(shí)，姚明說(shuō)：“全運(yùn)會(huì)得到了天津市委市政府和各區(qū)、各學(xué)校的大力幫助，籃球項(xiàng)目比賽（順利舉辦）要感謝天津方方面面的支持?！贝送?，姚明還對(duì)全運(yùn)村內(nèi)的保障服務(wù)和志愿者工作表示贊賞?！昂芏嗍煜さ慕叹殕T和運(yùn)動(dòng)員都表示服務(wù)保障很不錯(cuò)，志愿者態(tài)度很積極。”“毋庸置疑，天津是中國(guó)籃球發(fā)源地，1895年，在籃球運(yùn)動(dòng)誕生4年的時(shí)候就漂洋過(guò)海從天津上岸，這是中國(guó)籃球具有歷史意義的地方?！币γ髟谡劶疤旖蚧@球文化和未來(lái)發(fā)展時(shí)說(shuō)，“天津保留著迄今為止世界上最古老的室內(nèi)籃球場(chǎng)，這都是非常重要的籃球文化遺產(chǎn)，希望
4、能在未來(lái)的工作中挖掘這些歷史遺產(chǎn)的價(jià)值?！币γ髡f(shuō)：“天津是座美麗的城市，這次來(lái)天津能夠感到濃厚的體育文化元素，希望運(yùn)動(dòng)員和教練員在比賽賽得好的同時(shí)，也能領(lǐng)略到天津的城市文化。” 新聞2：從開(kāi)幕式前入住全運(yùn)村到奔波于全運(yùn)三座籃球場(chǎng)館之間，中國(guó)籃協(xié)主席姚明抵津已有10多天了。昨天在天津財(cái)大籃球館，姚明還饒有興致地談了對(duì)本次天津全運(yùn)會(huì)的看法，能夠讓群眾融入進(jìn)來(lái)，是他覺(jué)得最有亮點(diǎn)的地方?！叭\(yùn)會(huì)是一項(xiàng)很有傳統(tǒng)的運(yùn)動(dòng)會(huì)，這次來(lái)到天津，得到市委、市政府的大力支持，天津各個(gè)區(qū)學(xué)校對(duì)于籃球比賽從人員到場(chǎng)館給予很
5、大幫助，中國(guó)籃協(xié)作為競(jìng)委會(huì)的一員，受到總局的委派承辦籃球的比賽，真的非常感謝天津?qū)ξ覀兎椒矫婷娴闹С??！北M管之前多次到訪津城，不過(guò)這次因?yàn)槿\(yùn)，還是給了姚明很多不一樣的感受，“天津是座非常美麗的城市，我之前來(lái)這里很多次了，這次來(lái)感受到了非常濃烈的體育文化元素，我們希望運(yùn)動(dòng)員、教練員在這座美麗的城市比賽賽得好，同時(shí)能夠領(lǐng)略到天津的城市文化?！北緦萌\(yùn)的群眾項(xiàng)目的比賽，引起了姚明極大的興趣，“這次天津全運(yùn)會(huì)最突出的特點(diǎn)是引入了群眾性體育和群眾性的項(xiàng)目，同時(shí)設(shè)立了群眾性的獎(jiǎng)牌和榮譽(yù)，是真的做到了一個(gè)‘全
6、’字，這也符合體育融入社會(huì)的一個(gè)大趨勢(shì)，全運(yùn)會(huì)不該只是專業(yè)運(yùn)動(dòng)員的盛會(huì)，也是所有社會(huì)人的一個(gè)盛會(huì)?！睂?duì)于這段時(shí)間在天津的生活，姚明也是贊不絕口，“我們作為籃協(xié)的官員都住在技術(shù)官員村，這段時(shí)間的生活工作都在里面，聽(tīng)到了很多熟悉的運(yùn)動(dòng)員、教練員對(duì)本次全運(yùn)會(huì)的夸贊，生活工作非常方便，保障非常齊全，我們?yōu)樘旖蚋械椒浅８吲d。很多場(chǎng)館都很新，很多志愿者都很年輕，大家都積極奔波在各自的崗位上，這一點(diǎn)我們的運(yùn)動(dòng)員和教練員應(yīng)該是最有發(fā)言權(quán)的?！弊鳛橹袊?guó)最出色的籃球運(yùn)動(dòng)員，姚明也談了天津作為中國(guó)籃球故鄉(xiāng)的感受，“毋庸
7、置疑，天津是中國(guó)籃球的發(fā)源地，是籃球傳入中國(guó)的第一故鄉(xiāng)，在籃球1891年誕生之后4年就漂洋過(guò)海來(lái)到中國(guó)，在天津上岸，這是對(duì)中國(guó)籃球具有歷史意義的地方，并且我們也知道這里保留了迄今為止世界上最古老的室內(nèi)籃球館，這些都是我們非常重要的文化遺產(chǎn)。我希望我們?cè)谖磥?lái)的工作中，可以讓這樣越來(lái)越多的歷史故事被重新挖掘出來(lái)?！ ?.word2vec計(jì)算網(wǎng)頁(yè)相似度 word2vec計(jì)算網(wǎng)頁(yè)相似度的基本方法是：抽取網(wǎng)頁(yè)新聞中的關(guān)鍵詞，接著將關(guān)鍵詞向量化，然后將得到的各個(gè)詞向量相加，最后得到的一個(gè)詞向量總和代表網(wǎng)頁(yè)新
8、聞的向量化表示，利用這個(gè)總的向量計(jì)算網(wǎng)頁(yè)相似度。包括的步驟是：1）關(guān)鍵詞提取，2）關(guān)鍵詞向量化，3）相似度計(jì)算?！ ∈紫仁顷P(guān)鍵詞提取，這里我們采用jiebag工具包中tfidf關(guān)鍵詞提取方法，如下圖7-14所示，函數(shù)KeyWord_Extract的功能就是提取句子的關(guān)鍵詞，并將關(guān)鍵詞保存在txt文件中?！ efWord_cut(sentence,file_name):words=pseg.cut(sentence)forwordinwords:withopen(file_name
