基于hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析

《基于hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、基于Hadoop的市政設(shè)施監(jiān)控大數(shù)據(jù)分析　　摘要：在目前市政設(shè)施監(jiān)控過程中，有效地應(yīng)用大數(shù)據(jù)分析技術(shù)，不但可以提高監(jiān)控的整體效果，同時還能夠?qū)崿F(xiàn)監(jiān)控數(shù)據(jù)的快速處理，為市政設(shè)施監(jiān)控提供完善的技術(shù)支持和技術(shù)保證。結(jié)合當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展實際，Hadoop作為一種有效的大數(shù)據(jù)技術(shù)，在市政設(shè)施監(jiān)控中能夠得到有效的應(yīng)用，對滿足市政設(shè)施監(jiān)控需要和提高市政設(shè)施監(jiān)控效果具有重要作用。為此，應(yīng)對Hadoop概念及內(nèi)容進行全面分析，并了解和掌握Hadoop的體系架構(gòu)，最后根據(jù)Hadoop技術(shù)實際，構(gòu)建基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)。　　關(guān)鍵詞：Hadoop市政設(shè)施監(jiān)控大數(shù)據(jù)　　中圖分類號

2、：TP31文獻標(biāo)識碼：A文章編號：1674-098X（2016）10（b）-0076-02　　Hadoop作為一種有效的大數(shù)據(jù)技術(shù)，在數(shù)據(jù)處理和網(wǎng)絡(luò)系統(tǒng)中得到了有效的應(yīng)用，對提高大數(shù)據(jù)分析處理效果具有重要作用。根據(jù)Hadoop技術(shù)的概念及內(nèi)容實際，掌握Hadoop的體系架構(gòu)特點，對于構(gòu)建大數(shù)據(jù)處理系統(tǒng)是十分重要的。結(jié)合市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需求，應(yīng)用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng)，對于提高市政設(shè)施監(jiān)控系統(tǒng)的運行效果和滿足市政設(shè)施監(jiān)控系統(tǒng)的數(shù)據(jù)處理需要具有重要意義。為此，應(yīng)開展Hadoop大數(shù)據(jù)系統(tǒng)的研究。　　1Hadoop的概念及內(nèi)容　　Hadoop是一個用java

3、語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。　　Hadoop作為一種有效的大數(shù)據(jù)處理技術(shù)，其主要優(yōu)點分為4個方面。　　1.1可擴展　　Hadoop技術(shù)在實際應(yīng)用過程中，可以根據(jù)所構(gòu)建系統(tǒng)的需求進行必要的擴展。具體功能可以在原有大數(shù)據(jù)處理的基礎(chǔ)上進行增減，以滿足所構(gòu)建系統(tǒng)的實際需求為準(zhǔn)。這一功能是Hadoop的主要優(yōu)勢，擴大了Hadoop技術(shù)的應(yīng)用范圍?！　?.2經(jīng)濟　　Hadoop技術(shù)在應(yīng)用過程中，整

4、體應(yīng)用成本較低。由于Hadoop具備了較好的可擴展性，在系統(tǒng)的構(gòu)建中可以作為基礎(chǔ)技術(shù)進行應(yīng)用，在Hadoop基礎(chǔ)上有效接入其他系統(tǒng)，避免了系統(tǒng)重建導(dǎo)致的資源浪費，有效地提高了系統(tǒng)的構(gòu)建效果?！　?.3可靠　　Hadoop技術(shù)在多年的應(yīng)用過程中，被證明是一種可靠的大數(shù)據(jù)處理技術(shù)。這種技術(shù)不但可以有效地提高數(shù)據(jù)的處理速度，同時還能與其他系統(tǒng)進行無縫對接，提高信息數(shù)據(jù)的處理能力，滿足系統(tǒng)運算和數(shù)據(jù)處理需要。因此，較高的可靠性保證了Hadoop能夠得到有效應(yīng)用。　　1.4高效　　Hadoop技術(shù)的突出優(yōu)點是數(shù)據(jù)處理速度較快。其不但可以在較短的時間內(nèi)加快數(shù)據(jù)處理速度，同時也會根據(jù)系

5、統(tǒng)的現(xiàn)實需求制定個性化的數(shù)據(jù)處理模式，提高系統(tǒng)的響應(yīng)速度，保證數(shù)據(jù)處理速度能夠達到預(yù)期目標(biāo)，提高數(shù)據(jù)處理的整體效果?！　?Hadoop的體系架構(gòu)　　從Hadoop技術(shù)的應(yīng)用來看，通常Hadoop的體系架構(gòu)比較特殊，除了要設(shè)定功能模塊之外，還要使模塊具備一定的接入特性。　　具體的功能模塊特點如下?！　ig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復(fù)雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口?！　hukwa是基于Hadoop的集群監(jiān)控系統(tǒng)?！　ive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapRedce任務(wù)進行運

6、行?！　ooKeeper是高效的、可擴展的協(xié)調(diào)系統(tǒng)，存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài)?！　Base是一個分布式文件系統(tǒng)，有著高容錯性的特點?！　apRedce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算。　　基于對Hadoop的了解，Hadoop在體系架構(gòu)中用到了多種輔助工具和子系統(tǒng)，在整體體系結(jié)構(gòu)上并不復(fù)雜，實現(xiàn)難度較低，具備了與其他系統(tǒng)有效集成的優(yōu)點。在功能系統(tǒng)構(gòu)建過程中，基本能夠滿足實際需求，對降低系統(tǒng)構(gòu)建難度具有重要作用?！　⊥瑫r，Hadoop在體系架構(gòu)中采取了分層架構(gòu)的方式，這種模式不但具有一定的突出性，同時還能夠解決功能系統(tǒng)構(gòu)建過程中存在的系統(tǒng)接入問題。對降低功能系

7、統(tǒng)的接入難度和提高功能系統(tǒng)的接入效果具有重要作用。因此，利用Hadoop構(gòu)建大數(shù)據(jù)分析系統(tǒng)是重要措施。　　除此之外，Hadoop具備了與其他系統(tǒng)對接的優(yōu)勢，可以在系統(tǒng)構(gòu)建過程中，根據(jù)系統(tǒng)的實際特點和功能需要，構(gòu)建相對應(yīng)的大數(shù)據(jù)處理系統(tǒng)，提高系統(tǒng)的數(shù)據(jù)處理能力，保證系統(tǒng)在數(shù)據(jù)處理過程中，能夠在整體有效性上得到全面提升。　　3基于Hadoop的市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建　　基于Hadoop的特點以及市政設(shè)施監(jiān)控系統(tǒng)的構(gòu)建需要，利用Hadoop構(gòu)建市政設(shè)施監(jiān)控系統(tǒng)，應(yīng)當(dāng)做好系統(tǒng)的總體設(shè)計和功能設(shè)定?！　≡谑姓O(shè)施監(jiān)控系統(tǒng)構(gòu)建過程中，基于