資源描述:
《基于hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、基于Hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析 摘要:在目前市政設(shè)施監(jiān)控過程中,有效地應(yīng)用大數(shù)據(jù)分析技術(shù),不但可以提高監(jiān)控的整體效果,同時還能夠?qū)崿F(xiàn)監(jiān)控數(shù)據(jù)的快速處理,為市政設(shè)施監(jiān)控提供完善的技術(shù)支持和技術(shù)保證。結(jié)合當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展實際,Hadoop作為一種有效的大數(shù)據(jù)技術(shù),在市政設(shè)施監(jiān)控中能夠得到有效的應(yīng)用,對滿足市政設(shè)施監(jiān)控需要和提高市政設(shè)施監(jiān)控效果具有重要作用。為此,應(yīng)對Hadoop概念及內(nèi)容進行全面分析,并了解和掌握Hadoop的體系架構(gòu),最后根據(jù)Hadoop技術(shù)實際,構(gòu)建基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)。 關(guān)鍵詞:Hadoop市政設(shè)施監(jiān)控大數(shù)據(jù) 中圖分類號
2、:TP31文獻標(biāo)識碼:A文章編號:1674-098X(2016)10(b)-0076-02 Hadoop作為一種有效的大數(shù)據(jù)技術(shù),在數(shù)據(jù)處理和網(wǎng)絡(luò)系統(tǒng)中得到了有效的應(yīng)用,對提高大數(shù)據(jù)分析處理效果具有重要作用。根據(jù)Hadoop技術(shù)的概念及內(nèi)容實際,掌握Hadoop的體系架構(gòu)特點,對于構(gòu)建大數(shù)據(jù)處理系統(tǒng)是十分重要的。結(jié)合市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需求,應(yīng)用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng),對于提高市政設(shè)施監(jiān)控系統(tǒng)的運行效果和滿足市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需要具有重要意義。為此,應(yīng)開展Hadoop大數(shù)據(jù)系統(tǒng)的研究。 1Hadoop的概念及內(nèi)容 Hadoop是一個用java
3、語言實現(xiàn)的軟件框架,在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算,它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱,主要是由分布式存儲(HDFS)、分布式計算(MapReduce)等組成。 Hadoop作為一種有效的大數(shù)據(jù)處理技術(shù),其主要優(yōu)點分為4個方面。 1.1可擴展 Hadoop技術(shù)在實際應(yīng)用過程中,可以根據(jù)所構(gòu)建系統(tǒng)的需求進行必要的擴展。具體功能可以在原有大數(shù)據(jù)處理的基礎(chǔ)上進行增減,以滿足所構(gòu)建系統(tǒng)的實際需求為準(zhǔn)。這一功能是Hadoop的主要優(yōu)勢,擴大了Hadoop技術(shù)的應(yīng)用范圍?! ?.2經(jīng)濟 Hadoop技術(shù)在應(yīng)用過程中,整
4、體應(yīng)用成本較低。由于Hadoop具備了較好的可擴展性,在系統(tǒng)的構(gòu)建中可以作為基礎(chǔ)技術(shù)進行應(yīng)用,在Hadoop基礎(chǔ)上有效接入其他系統(tǒng),避免了系統(tǒng)重建導(dǎo)致的資源浪費,有效地提高了系統(tǒng)的構(gòu)建效果?! ?.3可靠 Hadoop技術(shù)在多年的應(yīng)用過程中,被證明是一種可靠的大數(shù)據(jù)處理技術(shù)。這種技術(shù)不但可以有效地提高數(shù)據(jù)的處理速度,同時還能與其他系統(tǒng)進行無縫對接,提高信息數(shù)據(jù)的處理能力,滿足系統(tǒng)運算和數(shù)據(jù)處理需要。因此,較高的可靠性保證了Hadoop能夠得到有效應(yīng)用。 1.4高效 Hadoop技術(shù)的突出優(yōu)點是數(shù)據(jù)處理速度較快。其不但可以在較短的時間內(nèi)加快數(shù)據(jù)處理速度,同時也會根據(jù)系
5、統(tǒng)的現(xiàn)實需求制定個性化的數(shù)據(jù)處理模式,提高系統(tǒng)的響應(yīng)速度,保證數(shù)據(jù)處理速度能夠達到預(yù)期目標(biāo),提高數(shù)據(jù)處理的整體效果?! ?Hadoop的體系架構(gòu) 從Hadoop技術(shù)的應(yīng)用來看,通常Hadoop的體系架構(gòu)比較特殊,除了要設(shè)定功能模塊之外,還要使模塊具備一定的接入特性。 具體的功能模塊特點如下?! ig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺,Pig為復(fù)雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口?! hukwa是基于Hadoop的集群監(jiān)控系統(tǒng)?! ive是基于Hadoop的一個工具,提供完整的sql查詢功能,可以將sql語句轉(zhuǎn)換為MapRedce任務(wù)進行運
6、行?! ooKeeper是高效的、可擴展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài)?! Base是一個分布式文件系統(tǒng),有著高容錯性的特點?! apRedce是一種編程模型,用于大規(guī)模數(shù)據(jù)集的并行運算。 基于對Hadoop的了解,Hadoop在體系架構(gòu)中用到了多種輔助工具和子系統(tǒng),在整體體系結(jié)構(gòu)上并不復(fù)雜,實現(xiàn)難度較低,具備了與其他系統(tǒng)有效集成的優(yōu)點。在功能系統(tǒng)構(gòu)建過程中,基本能夠滿足實際需求,對降低系統(tǒng)構(gòu)建難度具有重要作用?! ⊥瑫r,Hadoop在體系架構(gòu)中采取了分層架構(gòu)的方式,這種模式不但具有一定的突出性,同時還能夠解決功能系統(tǒng)構(gòu)建過程中存在的系統(tǒng)接入問題。對降低功能系
7、統(tǒng)的接入難度和提高功能系統(tǒng)的接入效果具有重要作用。因此,利用Hadoop構(gòu)建大數(shù)據(jù)分析系統(tǒng)是重要措施。 除此之外,Hadoop具備了與其他系統(tǒng)對接的優(yōu)勢,可以在系統(tǒng)構(gòu)建過程中,根據(jù)系統(tǒng)的實際特點和功能需要,構(gòu)建相對應(yīng)的大數(shù)據(jù)處理系統(tǒng),提高系統(tǒng)的數(shù)據(jù)處理能力,保證系統(tǒng)在數(shù)據(jù)處理過程中,能夠在整體有效性上得到全面提升。 3基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建 基于Hadoop的特點以及市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建需要,利用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng),應(yīng)當(dāng)做好系統(tǒng)的總體設(shè)計和功能設(shè)定?! ≡谑姓O(shè)施監(jiān)控系統(tǒng)構(gòu)建過程中,基于