基于新浪微博的用戶信息爬蟲及分析畢業(yè)論文

《基于新浪微博的用戶信息爬蟲及分析畢業(yè)論文》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、目錄摘要IAbstractII1引言31.1選題背景與意義31.2系統(tǒng)開發(fā)工具31.2.1vs200831.2.2oracle11g31.2.3boost庫31.2.4GZIP壓縮算法函數(shù)庫31.2.5JSON格式文件轉(zhuǎn)換函數(shù)庫42系統(tǒng)需求分析與設(shè)計(jì)52.1系統(tǒng)需求52.1.1名詞說明52.1.2系統(tǒng)功能需求說明52.1.3系統(tǒng)總體功能設(shè)計(jì)72.2系統(tǒng)數(shù)據(jù)庫構(gòu)建92.2.1數(shù)據(jù)庫設(shè)計(jì)92.2.2數(shù)據(jù)庫詳細(xì)設(shè)計(jì)93系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)123.1爬蟲系統(tǒng)詳細(xì)設(shè)計(jì)123.1.1HTTP請求數(shù)據(jù)包123.1.2HTTP返回?cái)?shù)據(jù)包133.1.3數(shù)據(jù)分析與提取133.1.4AnaData類133.1.5數(shù)

2、據(jù)入庫153.2服務(wù)端詳細(xì)設(shè)計(jì)163.3客戶端詳細(xì)設(shè)計(jì)173.3.1登錄頁面173.3.2注冊新用戶和忘記密碼頁面183.3.3用戶關(guān)注列表查詢界面193.3.4微博用戶標(biāo)簽分類查詢203.3.4發(fā)布微博并@列表框中的微博用戶昵稱203.3.5微博用戶昵稱模糊搜索213.3.6微博用戶微博查詢214系統(tǒng)部署與測試224.1系統(tǒng)部署圖224.2系統(tǒng)測試225結(jié)束語29參考文獻(xiàn)30致謝31-31-摘要隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，在這個信息時代，數(shù)據(jù)量的增長速度已經(jīng)遠(yuǎn)遠(yuǎn)超過的我們的想象。迅速的對這些數(shù)據(jù)進(jìn)行處理，進(jìn)行信息的提取已經(jīng)成為目前計(jì)算機(jī)領(lǐng)域一個巨大的難題。而且無論是政府還是企業(yè)，對于大數(shù)據(jù)的

3、掌握都可以起著至關(guān)重要的作用。數(shù)據(jù)處理技術(shù)蘊(yùn)含的巨大的商業(yè)價值必將被慢慢的挖掘出來。本文以新浪微博作為信息載體。對新浪微博的用戶信息進(jìn)行收集和分析，對新浪微博信息數(shù)據(jù)轉(zhuǎn)化成價值的可行性進(jìn)行了嘗試。設(shè)計(jì)出了一個可以獲取新浪微博信息的數(shù)據(jù)收集系統(tǒng)，并進(jìn)行一定的數(shù)據(jù)分析和數(shù)據(jù)展示。關(guān)鍵詞：C++，新浪微博，數(shù)據(jù)挖掘-31-AbstractWiththeInternetdevelopmentofinformationtechnology,inthisageofinformation,theamountofdatagrowthhasfarexceededourimagination.Rapidproc

4、essingofthesedata,theextractionofinformationhasbecomeahugeprobleminthecomputerfield.Andwhethergovernmentorcorporate,cangraspforbigdataplaysavitalrole.Thetremendouscommercialvalueofdataprocessingtechnologyisboundtobeslowlyexcavated.Inthispaper,SinaWeiboasaninformationcarrier.SinaWeibouserinformation

5、collectionandanalysistheSinamicrobloggingdataintothevalueofthefeasibilityofatry.DesignonecangetthetheSinamicroblogginginformationsystemofdatacollectionanddataanalysisanddatapresentation.Keywords:c++,SinaWeibo,DataMining-31-1引言1.1選題背景與意義隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，目前的信息增長的速度已經(jīng)進(jìn)入了飛速膨脹的階段?！叭绻fIBM的主機(jī)拉開了信息化革命的大幕，那么‘大數(shù)

6、據(jù)’才是第3次浪潮的華彩樂章?！敝磥韺W(xué)家、當(dāng)今世界最具影響力的社會思想家之一托夫勒在《第三次浪潮》中說過的內(nèi)容如今已將逐漸成為事實(shí)，大數(shù)據(jù)正在改變這我們的生活。IDC（國際數(shù)據(jù)公司）在2011年6月的數(shù)據(jù)統(tǒng)計(jì)[1]，全球數(shù)據(jù)量在2011年已達(dá)到1.8ZB,在過去5年時間里數(shù)據(jù)量增加了5倍。1.8ZB是什么樣的概念？1ZB等于1萬億GB，1.8ZB也就相當(dāng)于18億個1T的硬盤。有效的對這些數(shù)據(jù)處理，去噪和提取信息，將數(shù)據(jù)轉(zhuǎn)換成價值的技術(shù)已成為目前市場最為廣闊的研究課題。例如數(shù)據(jù)挖掘，分布式計(jì)算，機(jī)器學(xué)習(xí)等等新的信息技術(shù)的產(chǎn)生，他們目的都是為了能夠從這無比巨大的數(shù)據(jù)中，獲取能夠用于商業(yè)決策和

7、企業(yè)管理的信息[2]。新浪微博于2009年正式上線，至2010年11月，新浪召開首屆微博開發(fā)者大會時披露其微博用戶突破5000萬。2011年3月，新浪CEO曹國偉在發(fā)布財(cái)報(bào)時介紹稱，其微博的注冊用戶總數(shù)已超過1億。目前，新浪微博用戶量已達(dá)到5億。因此，新浪微博的數(shù)據(jù)具有極大的開發(fā)潛力。新浪微博數(shù)據(jù)平臺是一個良好的數(shù)據(jù)載體。除了足夠大的數(shù)據(jù)量，相比與騰訊QQ空間，百度貼吧等，新浪微博還具有其他一些優(yōu)點(diǎn)，如：1）