海量瓦片數(shù)據(jù)管理及優(yōu)化方案

《海量瓦片數(shù)據(jù)管理及優(yōu)化方案》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、海量瓦片數(shù)據(jù)管理及優(yōu)化方案一、海量瓦片數(shù)據(jù)的管理1.瓦片數(shù)據(jù)的特點(diǎn)瓦片數(shù)據(jù)是應(yīng)用地圖瓦片技術(shù)對(duì)地圖數(shù)據(jù)進(jìn)行切片所得到的，其對(duì)數(shù)據(jù)的切分規(guī)則通常是按照固定的若干個(gè)比例尺（瓦片級(jí)別）和指定圖片尺寸，切成若干行、列的正方形圖片，并以指定的格式保存為圖片文件，再按一定的命名規(guī)則與組織方式存儲(chǔ)到目錄系統(tǒng)中或關(guān)系數(shù)據(jù)庫(kù)里。地圖切圖所獲得的地圖切圖也叫瓦片，瓦片金字塔是瓦片數(shù)據(jù)的一種多分辨率層次模型，從金字塔底層到頂層，數(shù)據(jù)分辨率越來(lái)越低，但是其表示的地理范圍不變。瓦片數(shù)據(jù)是改進(jìn)系統(tǒng)性能的最佳選擇，它通過(guò)對(duì)地圖數(shù)據(jù)預(yù)先渲染、切片，有效減輕服

2、務(wù)器處理壓力，減少網(wǎng)絡(luò)負(fù)載和響應(yīng)延遲。但是，瓦片地圖服務(wù)都基于文件方式進(jìn)行圖片緩存，這種方式實(shí)現(xiàn)簡(jiǎn)單，但因瓦片數(shù)據(jù)動(dòng)輒幾百至上千萬(wàn)個(gè)文件，且文件很小，導(dǎo)致磁盤(pán)存儲(chǔ)碎片化嚴(yán)重，影響ＩＯ性能，且數(shù)據(jù)可遷移性差，無(wú)論是數(shù)據(jù)備份、遷移或是恢復(fù)都耗時(shí)漫長(zhǎng)。如何優(yōu)化瓦片技術(shù)，減小數(shù)據(jù)冗余，提高訪問(wèn)效率和管理效率是當(dāng)前我們急需解決的問(wèn)題。2.海量瓦片數(shù)據(jù)的管理目前很多GIS平臺(tái)對(duì)數(shù)據(jù)的管理方式雖然類(lèi)似但也不盡相同。總結(jié)起來(lái)大概有三種方式。一是基于文件系統(tǒng)凡人管理，對(duì)切分后的數(shù)據(jù)按照瓦片數(shù)據(jù)的切分規(guī)則分別用文件夾存儲(chǔ)管理，即地圖瓦片數(shù)據(jù)的組織

3、方式采用數(shù)據(jù)集、層、行目錄結(jié)構(gòu)描述，并基于文件系統(tǒng)的方式進(jìn)行調(diào)度；此方法調(diào)度簡(jiǎn)單，檢索過(guò)程依賴(lài)文件系統(tǒng)的文件查詢(xún)方式和訪問(wèn)方式，容易實(shí)現(xiàn)，但效率不高，維護(hù)=復(fù)雜，同時(shí)存在數(shù)據(jù)的安全隱患。圖1瓦片文件組織二是采用大型的關(guān)系數(shù)據(jù)引擎：此種方式通常將預(yù)處理后凡人瓦片數(shù)據(jù)以一條獨(dú)立記錄的形式存放于數(shù)據(jù)庫(kù)中，通?？梢愿鶕?jù)瓦片切分的層級(jí)或則金字塔結(jié)構(gòu)分表存儲(chǔ)以提高數(shù)據(jù)的檢索效率。這種方式可以利用數(shù)據(jù)庫(kù)的安全機(jī)制有效的解決基于文件系統(tǒng)管理存在的安全隱患，但是由于關(guān)系型的數(shù)據(jù)庫(kù)對(duì)于此類(lèi)數(shù)據(jù)很難建立快速的索引機(jī)制，所以相對(duì)調(diào)度效率較低，但是實(shí)現(xiàn)

4、相對(duì)容易。三是基于GIS自身為滿(mǎn)足空間數(shù)據(jù)檢索而開(kāi)發(fā)的一些專(zhuān)用數(shù)據(jù)庫(kù)管理引擎，如GFS等等，這類(lèi)引擎能夠較好的解決數(shù)據(jù)調(diào)度的效率同時(shí)也能有效的避免文件系統(tǒng)存在的各種安全隱患，但實(shí)現(xiàn)復(fù)雜。1.瓦片數(shù)據(jù)的調(diào)度（1）數(shù)據(jù)的格網(wǎng)分割由于影像等數(shù)據(jù)通常都是以一個(gè)大的數(shù)據(jù)文件格式的形式存在的，而如此龐大的文件不可能也不需要一次性的全部加載到GIS系統(tǒng)中來(lái)，更多的時(shí)候是我們僅僅需要加載我們所關(guān)心的部分?jǐn)?shù)據(jù)。因此，此類(lèi)數(shù)據(jù)在使用之前需要進(jìn)行一些列的處理，即大的數(shù)據(jù)分割為小塊的數(shù)據(jù)，這樣在調(diào)度時(shí)僅僅需要調(diào)度用戶(hù)需要的那部分?jǐn)?shù)據(jù)即可。目前絕大多數(shù)

5、GIS采用的分割方式是以固定大小的網(wǎng)格分割，在關(guān)系數(shù)據(jù)庫(kù)中，對(duì)于數(shù)值和字符的索引已經(jīng)比較成熟，且效率很高，但是對(duì)于諸如影像等變長(zhǎng)的二進(jìn)制數(shù)據(jù)來(lái)說(shuō)很難建立的高效的索引機(jī)制。通常將對(duì)此類(lèi)數(shù)據(jù)的索引通過(guò)網(wǎng)格分割，改成對(duì)格網(wǎng)編號(hào)的索引，從而大大提升索引的效率，從而提升數(shù)據(jù)調(diào)度的效率。分割方法是按照一定的規(guī)則將大的數(shù)據(jù)分割為規(guī)則（如正方形區(qū)域）并且彼此之間沒(méi)有重疊的圖像塊，并且給每個(gè)塊一個(gè)唯一編號(hào)（如網(wǎng)格行列號(hào)），從而通過(guò)對(duì)格網(wǎng)編號(hào)索引實(shí)現(xiàn)數(shù)據(jù)的檢索。索引算法如下：若（X0，Y0）為格網(wǎng)的起始坐標(biāo)原點(diǎn)，設(shè)窗口顯示的范圍為（X1，Y1,X

6、2,Y2），如圖2所示。圖2格網(wǎng)索引圖起始格網(wǎng)的行號(hào)為：（取整）（（X1-X0）/Δx），其中Δx為格網(wǎng)的寬度值；終止網(wǎng)格的行號(hào)為：（取整）（（X2-X0）/Δx）+1；起始格網(wǎng)的列號(hào)為：（取整）（（Y1-Y0）/Δy），其中Δy為格網(wǎng)的寬度值；終止格網(wǎng)的列號(hào)為：（取整）（（Y2-Y0）/Δy）+1；由此通過(guò)格網(wǎng)的起止編號(hào)來(lái)檢索（X1，Y1,X2,Y2）對(duì)應(yīng)包含的數(shù)據(jù)塊編號(hào)即可。（1）金字塔建立金字塔是指在同一的空間參照下，根據(jù)用戶(hù)需求以不同分辨率進(jìn)行存儲(chǔ)和實(shí)現(xiàn)，形成分辨率油由低到高，數(shù)據(jù)量由小到大的金字塔結(jié)構(gòu)。這樣在數(shù)據(jù)的最

7、底層存儲(chǔ)最高分辨率的數(shù)據(jù)，然后隨著金字塔層數(shù)的增加，數(shù)據(jù)的分辨率依次降低，數(shù)據(jù)量依次減少，在金字塔的頂層，則僅僅存儲(chǔ)用戶(hù)所需要的最小分辨率的數(shù)據(jù)。在進(jìn)行顯示時(shí)，根據(jù)當(dāng)前用戶(hù)的瀏覽范圍及顯示設(shè)備的分辨率和范圍，使用能夠滿(mǎn)足用戶(hù)視覺(jué)要求的金字塔層次中的最高層數(shù)據(jù)作為顯示數(shù)據(jù)，這種方式在一定程度上會(huì)增加數(shù)據(jù)存儲(chǔ)開(kāi)銷(xiāo)，但能加快實(shí)時(shí)顯示速度。（2）基于金字塔的瓦片分割與數(shù)據(jù)調(diào)度數(shù)據(jù)金字塔建立之后要分別對(duì)其各層數(shù)據(jù)進(jìn)行格網(wǎng)分割，分割時(shí)要根據(jù)瓦片所處的層級(jí)及所在區(qū)域的不同對(duì)瓦片進(jìn)行唯一編號(hào)，這便是瓦片數(shù)據(jù)的生成。基于金字塔的瓦片切分通常采用

8、四叉樹(shù)形式，即以金字塔最頂層數(shù)據(jù)為基準(zhǔn)，依次向下做22n瓦片數(shù)量等大小分割，n為金字塔層級(jí)，這也就是前面所闡述的金字塔層級(jí)之間分辨率通常保持4倍關(guān)系的原因，如圖所示。在GIS對(duì)瓦片數(shù)據(jù)的調(diào)度過(guò)程中，對(duì)頂層數(shù)據(jù)為基礎(chǔ)，隨著距離的拉近，當(dāng)需要調(diào)度金字塔下一層數(shù)據(jù)時(shí)，系統(tǒng)自動(dòng)對(duì)當(dāng)前