海量影像數(shù)據(jù)集入庫策略

《海量影像數(shù)據(jù)集入庫策略》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。

1、海量影像數(shù)據(jù)入庫策略（oracle為例）柵格數(shù)據(jù)量越來越大，尤其是影像數(shù)據(jù)量激增。雖然隨著影像數(shù)據(jù)量的激增，不建議影像數(shù)據(jù)本身存儲到空間數(shù)據(jù)庫（ArcSDE）中，但仍有用戶為了解決多用戶并發(fā)、數(shù)據(jù)安全性、便于備份與恢復等問題，要將海量的影像或柵格數(shù)據(jù)存儲到空間數(shù)據(jù)庫中。那么，如何更快、更高效的把海量的影像數(shù)據(jù)入到空間數(shù)據(jù)庫中呢？需要考慮哪些因素？提前做哪些準備工作？海量影像數(shù)據(jù)入庫主要做好以下三步工作。第一步：數(shù)據(jù)庫和ArcSDE準備配置DBMS參數(shù)配置ArcSDE參數(shù)估算DBMS存儲空間大小分配

2、DBMS存儲空間第二步：數(shù)據(jù)入庫準備原始數(shù)據(jù)創(chuàng)建柵格數(shù)據(jù)存儲對象創(chuàng)建DBMS統(tǒng)計值第三步：數(shù)據(jù)查看下面分別對上述內(nèi)容進行詳細介紹。第一步：數(shù)據(jù)庫和ArcSDE準備配置DBMS參數(shù)1)設置checkpoint間隔：通過DBA設置初始化參數(shù)LOG_CHECKPOINT_INTERVAL和LOG_CHECKPOINT_TIMEOUT為0，實現(xiàn)在線redo日志組切換時，強制出現(xiàn)checkpoint。2)增加redo日志文件單個文件大小至少為1GB。3)增加數(shù)據(jù)塊緩沖區(qū)大小DB_BUFFER_CACHE。4

3、)創(chuàng)建數(shù)據(jù)塊大小為8KB的Oracle數(shù)據(jù)庫。8KB是存儲blob數(shù)據(jù)最佳的塊大小設置，已經(jīng)成為ArcGIS二進制數(shù)據(jù)存儲的默認存儲類型。16KB或者32KB可能會導致blob存儲空間的浪費。配置ArcSDE參數(shù)在ArcSDE客戶端和服務器之間，ArcSDE使用“傳輸緩沖區(qū)”進行數(shù)據(jù)傳輸。在向空間數(shù)據(jù)庫中寫入數(shù)據(jù)時，當ArcSDE客戶端數(shù)據(jù)緩沖區(qū)達到閾值，數(shù)據(jù)將被提交到ArcSDE服務器。當ArcSDE服務器處理數(shù)據(jù)時，客戶端再將更多數(shù)據(jù)寫入到緩沖區(qū)，達到閾值時，提交到ArcSDE服務器。依次循環(huán)

4、往復。對于柵格數(shù)據(jù)，“傳輸緩沖區(qū)”的大小是被ArcSDE服務器參數(shù)RASTERBUFSIZE控制的。默認情況下，該參數(shù)大小為200KB。對于大多數(shù)柵格數(shù)據(jù)入庫而言是足夠的。在默認參數(shù)設置情況下，ArcSDE會為客戶端和服務器端分配RASTERBUFSIZE兩倍大小的內(nèi)存，即如果默認參數(shù)設置為200KB，那么ArcSDE客戶端將會被分配400KB大小的內(nèi)存，服務器端同樣會分配400KB大小的內(nèi)存。除該參數(shù)外，ArcSDE在服務器端還提供了三個緩存區(qū)參數(shù)，用于從DBMS中讀寫數(shù)據(jù)。通過這三個參數(shù)，可將

5、服務器端的內(nèi)存分配增加到1000KB。如果使用直連directconnection方式（如下圖所示），ArcSDE客戶端和服務器端的操作都在客戶機上執(zhí)行，因此通過直連方式分配的內(nèi)存是RASTERBUFSIZE參數(shù)指定大小的7倍。直連方式下，如果RASTERBUFSIZE參數(shù)指定的大小無法滿足未壓縮柵格塊的大小，僅需修改RASTERBUFSIZE參數(shù)默認值的大小，與其他三個緩沖區(qū)參數(shù)無關。格式：sde@oradb未壓縮塊大小計算方式：塊高×塊高×像素深度因子（pixeldepth）。1)例如：128

6、*128塊，像素深度為32位，那么未壓縮塊大小=128*128*4（像素深度因子）=65536byte<200KB。2)再如:256*256分塊，像素深度為32位，那么未壓縮塊大小=256*256*4=262144byte>200KB。像素深度與像素深度因子對照表:序號像素深度像素深度因子11bit0.12524bit0.2538bit1416bit2532bit4664bit8RASTERBUFSIZE參數(shù)大小設置：如果未壓縮塊大小大于默認RASTERBUFSIZE參數(shù)，那么必須要對RASTER

7、BUFSIZE參數(shù)值進行修改，否則將會導致錯誤-SE_RASTER_BUFFER_TOO_SMALL（-294）。RASTERBUFSIZE參數(shù)修改方法:使用sdeconfig管理工具進行修改，修改后的結(jié)果寫入SDE.SERVER_CONFIG表，具體命令參數(shù)如下Sdeconfig–oalter–vRASTERBUFSIZE=10240000–usde–psde。提醒：如塊的大小未超出默認RASTERBUFSIZE參數(shù)大小，請盡量不要修改RASTERBUFSIZE參數(shù)值。因為RASTERBUFSI

8、ZE參數(shù)值過大將會影響整個系統(tǒng)的柵格數(shù)據(jù)流。估算DBMS存儲空間大小為了在海量柵格入庫之前，科學的分配和組織存儲空間，優(yōu)化ArcSDEDBTUNE參數(shù)（參見分配DBMS存儲空間），需提前對柵格入庫后的數(shù)據(jù)量進行評估。柵格數(shù)據(jù)主要存儲在以下四個表：SDE_Aux_#/SDE_BLK_#/SDE_BND_#/SDE_RAS_#。其中SDE_BLK_#主要用于存儲柵格數(shù)據(jù)，其數(shù)據(jù)量大小是其他表的近150倍。因此其他表忽略不計。估算DBMS存儲空間大小主要有兩種方法。1)方法一：加載小部分