資源描述：
《大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展研究.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、科技創(chuàng)新與應(yīng)用I2015年第10期科技創(chuàng)新大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展研究沈松雨(廣州南方測繪儀器有限公司，廣東廣州510665)摘要：大數(shù)據(jù)環(huán)境下GIS處在數(shù)據(jù)體量大、數(shù)據(jù)急劇膨脹、數(shù)據(jù)源多樣、數(shù)據(jù)不精確、數(shù)據(jù)價值密度低的環(huán)境。描述大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)顯著特征；探討大數(shù)據(jù)環(huán)境下GIS技術(shù)在數(shù)據(jù)采集、存儲、分析處理等三個方面存在的挑戰(zhàn)；展望面對這些挑戰(zhàn)GIS技術(shù)應(yīng)存儲去結(jié)構(gòu)化、計算內(nèi)存化、分析去模型化、地圖全息化發(fā)展趨勢。關(guān)鍵詞：大數(shù)據(jù)；GIS；Hadoop；Spark；去模型化引言統(tǒng)的GIS空間數(shù)據(jù)存儲方式不但難以擴展，而且隨著數(shù)據(jù)的激增讀寫隨著移動互聯(lián)網(wǎng)、智慧城市、物聯(lián)網(wǎng)、云
2、計算等前沿科學(xué)技術(shù)的快性能存在極大瓶頸。速發(fā)展，數(shù)據(jù)采集方式也不斷擴展，越來越多的物體成為傳感器，諸如在傳統(tǒng)的分布式空間數(shù)據(jù)庫環(huán)境下數(shù)據(jù)雖然可以存放在同節(jié)手機、手環(huán)、手表、眼鏡等越來越多的日常用品成為數(shù)據(jù)的生產(chǎn)工具。點上，但這種相對傳統(tǒng)的分布式文件系統(tǒng)所支持的擴展性有限，針對在此背景下，數(shù)據(jù)量呈爆發(fā)式增長。2013年中國產(chǎn)生的數(shù)據(jù)總量超過GIS大體量、多樣性的空間數(shù)據(jù)存儲問題仍需深入研究，從而尋找更0．8ZB(相當(dāng)于8億TB)，是2012年所產(chǎn)生的數(shù)據(jù)總量的2倍，相當(dāng)于加有效的方案。2009年全球的數(shù)據(jù)總量l】。2014年中國所產(chǎn)生的數(shù)據(jù)則相當(dāng)于20122．3大數(shù)據(jù)環(huán)境下的GIS
3、空間分析年產(chǎn)生數(shù)據(jù)總量的1O倍，即超過8ZB，而全球產(chǎn)生的數(shù)據(jù)總量將超大數(shù)據(jù)環(huán)境下是處處連接的時代，英特爾預(yù)測2020年全球?qū)⒂?0ZB。數(shù)據(jù)量的爆發(fā)式增長督促我們快速邁人大數(shù)據(jù)時代。500億個連接。每個連接都是一個傳感器，這些傳感器無時無刻都存1GIS空間數(shù)據(jù)的大數(shù)據(jù)特征進行采集數(shù)據(jù)，其自身狀態(tài)也隨著社會環(huán)境、自然環(huán)境的變化而變化。具體什么是大數(shù)據(jù)不同的組織給出的定義也不盡相同，普遍來說這樣的背景下，迫切需要GIS能夠做到低延遲的分析處理工作，因為大數(shù)據(jù)指的是無法通過現(xiàn)有的軟件工具采集、存儲和分析處理的數(shù)據(jù)分析模型也需要隨著變化而動態(tài)變化。集合。業(yè)界通常用5V(Volume、V
4、ariety、Velocity、Veracity、Value)特征另外大體量和多樣性的GIS數(shù)據(jù)同樣給分析處理帶來巨大挑戰(zhàn)。來概括大數(shù)據(jù)的顯著特征。爆發(fā)式增長的數(shù)據(jù)中80％與空間位置有數(shù)據(jù)體量越大，分析模型的建立就越困難，加上GIS數(shù)據(jù)包含街景地關(guān)，這些GIS空間數(shù)據(jù)的大數(shù)據(jù)特征同樣可以用5V來概括。圖、遙感影像、矢量數(shù)據(jù)等多樣性的、價值密度很低數(shù)據(jù)，從中快速提Volume(數(shù)據(jù)量)：即數(shù)據(jù)體量大，大量TB級以上數(shù)據(jù)需要采集、存儲、煉有價值數(shù)據(jù)無疑是一項無比艱巨的任務(wù)。分析處理，如一個地級市的基礎(chǔ)地理信息數(shù)據(jù)。3大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展Velocity(速度)：即數(shù)據(jù)產(chǎn)生的速率
5、很快，目前數(shù)據(jù)正以ms甚至大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)體量大、增長速度快、形態(tài)多樣、不精確、微秒計的流數(shù)據(jù)源源不斷地快速產(chǎn)生，因此對數(shù)據(jù)處理的實時性要求價值密度低等諸多特征必將引起GIS數(shù)據(jù)采集、存貯、分析等階段的也越來越更高。變革。大數(shù)據(jù)環(huán)境下GIS技術(shù)在空間數(shù)據(jù)采集、存儲、分析處理等方面Variety(多樣性)：即數(shù)據(jù)具有多樣性，它包含各種結(jié)構(gòu)化和非結(jié)存在諸多挑戰(zhàn)，應(yīng)運而生的大數(shù)據(jù)分析技術(shù)則為根本上解決大數(shù)據(jù)環(huán)構(gòu)化數(shù)據(jù)，比如屬勝數(shù)據(jù)、矢量數(shù)據(jù)、遙感影像等柵格數(shù)據(jù)。境GIS所面臨的挑戰(zhàn)提供了可能。Veracity(真實)：即數(shù)據(jù)具有不精確性，因為數(shù)據(jù)存在噪音、歧義3．1存儲去結(jié)構(gòu)化甚
6、至是缺失，從而導(dǎo)致數(shù)據(jù)信息模糊，給數(shù)據(jù)的處理帶來諸多不利影相對于有限的數(shù)據(jù)集，大體量數(shù)據(jù)需要可擴展的數(shù)據(jù)存儲架構(gòu)，響以滿足數(shù)據(jù)無限增長的需要。針對大數(shù)據(jù)時代GIS數(shù)據(jù)的多樣性，諸Value(價值)：即價值密度低，大數(shù)據(jù)中蘊含各種信息，但其中有如HBase、Redis、MongoDB、InfoGrid等非關(guān)系型(NoSQI)數(shù)據(jù)庫顯然價值的數(shù)據(jù)占比較低，從中挖掘出有價值的數(shù)據(jù)是一種挑戰(zhàn)。是不錯的選擇。2大數(shù)據(jù)環(huán)境下G1S面f臨的挑戰(zhàn)這些數(shù)據(jù)庫存儲不需要預(yù)先定義模式，并且可在系統(tǒng)運行的時候自RogerTomlinson博士于1963年首次提出地理信息系統(tǒng)(Geo—動態(tài)增加或刪除節(jié)點，
7、避免停機維護，提高了拓展性和可靠性；另外非graphicIntormationSystems)概念之后，GIS技術(shù)一直都在快速發(fā)展。關(guān)系型數(shù)據(jù)庫沒有共享架構(gòu)，數(shù)據(jù)往往被劃分后存儲在各個本地服務(wù)GIS技術(shù)現(xiàn)已廣泛應(yīng)用于環(huán)境監(jiān)測、國土資源管理、城市規(guī)劃、交通運器上，方便就近從本地磁盤上讀取數(shù)據(jù)，提高數(shù)據(jù)讀取I生能。輸、公共基礎(chǔ)設(shè)施管理、社交網(wǎng)絡(luò)(SNS)、位置服務(wù)(LBS)等領(lǐng)域，給人3．2計算內(nèi)存化們生活帶來很大便利。隨著廣大從業(yè)者對GIS技術(shù)進行不斷的嘗試和Hadoop系統(tǒng)是近幾
