資源描述：
《基于spark的輿情分析架構研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、學校代號：Ｕ８分類號：４５ＵＤＣ：：２１：密級學號１１３０５０５７廣東工業(yè)大學碩±學位論文（工程碩±）基于Ｓｐａｒｋ的輿情分析架構研究譚造樂、校內導師姓名職稱：郝志峰教授校外導師姓名、職稱：盧宇高級工程師學科：計算機巧術（專業(yè)）或領域名稱學生所屬學院：計算機學院二〇—論文答辯日期：六年五月ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｅｄ化ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙｆｏｒｔｈｅＤｅｇｒｅｅｏｆＭａ
2、ｓｔｅｒＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎ（ｇｇ）ＲｅｓｅａｒｃｈｏｎＳｐａｒｋＢａｓｅｄＰｕｂｌｉｃＯｐｉｎｉｏｎＡｎａｌｙｓｉｓＡｒｃｈｉｔｅｃｔｕ巧Ｃａｎｄｉｄａｔｅ：ＴａｎＺａｏｌｅＳｕｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＨａｏＺｈｉｆｅｎｐｇＭａｙ２０１６ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＧｕａｎｇｄｏｎｇＵｎｉｖｅ巧巧ｙｏｆＴｅｃｈｎｏｌｏｇｙＧｕａｎｚｈｏｕＧｕａｎｄｏｎＰ．Ｒ．
3、Ｃｈｉｎａ５１０００６ｇ，，，ｇｇ摘要摘要輿情分析通過對互聯(lián)網海量信息進行自動抓取、自動分類聚類等技術，形成簡報、，圖表等分析結果為客戶全面掌捏群眾思想動態(tài)，做出正確輿論引導提供分析依據。、隨著移動互聯(lián)網，互聯(lián)網用戶呈、電子商務社交網絡等甘聯(lián)網新興巧術普及和應用現爆炸性增長。因此，高效海量數據處理架構對輿情分析具有重要研巧意義。本文結合新浪微博，基于大數據處理技術，探討了構建基于Ｓｐａｒｋ的輿情分析架構的可行性：１、，。論文主要做了Ｗ下幾方面工作設計整體架構搭建
4、Ｈａｄｏｏｐ分布式平臺對海量數據進行存儲和處理，通過分布式列式數據庫ＨＢａｓｅ和Ｌｕｃｅｎｅ相結合，在滿足海量數據存儲的基礎上，提高了數據檢索和讀寫性能。２、在數據采集模塊，針對一當今廣泛使用的模擬登陸和基于ＡＰ，Ｉ采集方案的缺陷設計個高效穩(wěn)定的數據采集方案，具體包括通過內存數據庫Ｒｅｄｉｓ來控制待爬隊列、更新隊列和己爬集合，在避免重復采集的同時能及時對數據進行更新，，；針對巧限制問題提出流動性的代理池機制通過池中代理不斷調度更新，使得池中代理能針對不同網頁而發(fā)揮其最大功效，同時
5、保證數據抓取的高效性和穩(wěn)定性，提高采集效率３、ａｄｏｏ。為從本質上突破Ｈｐ在文本－聚類上的瓶頸，本文在文本聚類模塊中使用基于卻ａｒｋ的改進Ｋｍｅａｎｓ算法實現。具體包括在預處理階段，針對微博持征項比較少的缺點，使用ｗｏｒｄ２ｖｅｃ工具對特征項進－ｍｅａｎｓ算法行擴展Ｋ值選擇和簇必初始化問題上優(yōu)化Ｋ，Ｓａｒｋ；在并將ｐ框架應用于－優(yōu)化的Ｋｍｅａｎｓ算法，對文本數據進巧并行處理使得架構在文本聚類上更加離效快捷，，從而提高整個架構的性能一。４、針對架構提出種基于資源信息増益的瓶頸檢測方
6、法。該方法通過監(jiān)控集群的響應滿意度（ＲｅｓｏｎｓｅＳａｔｉｓｆａｃｔｉｏｎＲＳ，ｐ，）來發(fā)現瓶頸的出現然后通過資源使用率和響應滿意度樣本計算各類資源的信息增益，Ｗ確定具體的瓶頸資源。一輿情分析作為愈發(fā)強大的社會建設力量，網絡輿情己經成為股不容忽視的社會力量。故對網絡輿情的分析對社會發(fā)展具有重要意義其在應用和研究上都有著巨大的前景，故對輿情分析架構研究勢在必行，。實驗結果表明本文構建的輿情分析架構能很好的適應對海量數據的輿情分析，能達到較為理想的數據采集和數據處理效果，對處
7、理大規(guī)模數據的輿情分析具有可行性。：輿情分析ａｒｋ關鍵字；數據采集；Ｓｐ；文本聚類；瓶頸檢測ＩＡｂｒａｃｓｔｔＡｂｓｔｒａｃｔＰｕｂｌｉｃｏｉｎｉｏｎａｎａｌｓｉｓｅｎｅｒａｔｅｓｂｒｉｅｆｒｅｏｒｔｓｃｈａｒｔｓａｎｄｏｔｈｅｒａｎａｌｓｉｓｒｅｓｕｌｔｓｔｈｒｏｕｈｐｙｇｐ，ｙｇａｕｔｏｍａｔｉｃａｌｌｙｃａｐｔｕｒｉｎｇｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｃｌｕｓｔｅｒｉｎｔｈｅｍａｓｓｉｖｅｉｎｆｏｒｍａｔｉｏｎｉｎｔｈｅＩｎｔｅｒｎｅ
8、ｔ．，ｇＴｈｅａｎａｌｙｓｉｓｒｅｓｕｌｔｓｒｏｖｉｄｅａｎａｌｔｉｃａｌｓｕｏｒｔｔｏｄｅｃｉｓｉｏｎｍａｋｅｒｓｗｈｏｃａｎｈａｖｅｃｏｍｌｅｔｅｐｙｐｐｐ，ｕｃｏｎｔｒｏｌｏｆｔｈｅｐｅｏｐｌｅｓｉｄｅｏｌｏｇｉｃａｌｔｒｅｎｄｓ，ａｎｄｍａｋｅｔｈｅｃｏｒｒｅｃｔｉｄａｎｃｅｏｆｕｂｌｉｃｏｉｎｉｏｎｓ．ｇｐｐｏａｎｄａｂｄＩｔ－Ｗｉｔｈｔｈｅｕｌａｒｉｔｌｉｃａ
