分布式數(shù)據(jù)庫(kù)查詢處理和優(yōu)化算法

《分布式數(shù)據(jù)庫(kù)查詢處理和優(yōu)化算法》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、分布式數(shù)據(jù)庫(kù)查詢處理和優(yōu)化算法摘要：隨著大數(shù)據(jù)時(shí)代的到來(lái)和云服務(wù)的發(fā)展，分布式數(shù)據(jù)庫(kù)系統(tǒng)（DDBS）的應(yīng)用越來(lái)越普遍化，分布式數(shù)據(jù)庫(kù)系統(tǒng)是通過分布式查詢處理與分布式數(shù)據(jù)庫(kù)（DDB）交互的綜合性應(yīng)用。無(wú)論是集中式數(shù)據(jù)庫(kù)系統(tǒng)，還是分布式數(shù)據(jù)庫(kù)。數(shù)據(jù)的查詢處理都貫穿于整個(gè)應(yīng)用項(xiàng)目的始終，而查詢處理的優(yōu)化也就顯得非常重要。分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)具有分布性和冗余度的特點(diǎn)。這樣在處理查詢優(yōu)化時(shí)一些技術(shù)的實(shí)現(xiàn)和問題的思考就相對(duì)復(fù)雜。本文從分布式數(shù)據(jù)庫(kù)查詢處理基本原理出發(fā)，對(duì)各優(yōu)化策略和算法進(jìn)行了闡述，并且針對(duì)性的

2、提出了各個(gè)算法選擇的思路和途徑。關(guān)鍵詞：分布式數(shù)據(jù)庫(kù)；查詢優(yōu)化中圖分類號(hào)：TP311.138分布式數(shù)據(jù)庫(kù)系統(tǒng)是在集中式數(shù)據(jù)庫(kù)技術(shù)的基礎(chǔ)上結(jié)合計(jì)算機(jī)網(wǎng)絡(luò)相關(guān)技術(shù)，與集中式數(shù)據(jù)庫(kù)的最大區(qū)別是：分布式數(shù)據(jù)庫(kù)中的數(shù)據(jù)是分散性存儲(chǔ)在網(wǎng)絡(luò)中不同場(chǎng)所（結(jié)點(diǎn)），并且每個(gè)場(chǎng)地的數(shù)據(jù)庫(kù)都有獨(dú)立處理能力。并且可以在局部完成功能應(yīng)用，除此之外，每個(gè)場(chǎng)地也要參與全局應(yīng)用程序的執(zhí)行，全局應(yīng)用程序是通過已有的網(wǎng)絡(luò)拓?fù)溥M(jìn)行通信來(lái)訪問各個(gè)場(chǎng)地的數(shù)據(jù)。在實(shí)際應(yīng)用和操作當(dāng)中，其實(shí)是感覺不到這個(gè)分布式網(wǎng)絡(luò)存在的，操作的仍然是一個(gè)整體數(shù)

3、據(jù)庫(kù)系統(tǒng)[1]，這說(shuō)明，分布式數(shù)據(jù)庫(kù)物理上是分散各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上的，但邏輯上仍是同一數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)集。這樣就導(dǎo)致了在優(yōu)化處理過程中與集中數(shù)據(jù)庫(kù)系統(tǒng)的一些區(qū)別：在集中式數(shù)據(jù)庫(kù)中，查詢優(yōu)化是基于關(guān)系代數(shù)的優(yōu)化整合，是一元運(yùn)算符運(yùn)算，主要目標(biāo)是盡量減少數(shù)據(jù)冗余。在分布式數(shù)據(jù)庫(kù)中，網(wǎng)絡(luò)數(shù)據(jù)的異步傳輸通信會(huì)有一定的代價(jià)，是二元運(yùn)算符操作。需要通過冗余數(shù)據(jù)提高系統(tǒng)可靠性，從而改善系統(tǒng)性能。基于分布式數(shù)據(jù)庫(kù)系統(tǒng)中數(shù)據(jù)的分散性和冗余性，決定了其查詢處理的優(yōu)化也具有一定的復(fù)雜性。在實(shí)際應(yīng)用當(dāng)中，分布式查詢處理和優(yōu)

4、化在整個(gè)項(xiàng)目周期中對(duì)工程質(zhì)量的保證也是非常重要的環(huán)節(jié)。1分布式數(shù)據(jù)庫(kù)查詢處理代價(jià)分析分布式數(shù)據(jù)庫(kù)的查詢處理操作是基于多點(diǎn)進(jìn)行的數(shù)據(jù)傳遞，這樣的數(shù)據(jù)查詢也是并行化處理的一種。分布式數(shù)據(jù)庫(kù)查詢優(yōu)化的目標(biāo)是確保整個(gè)傳輸處理成本盡可能的小，主要包括CPU處理成本、I/O和通信開銷[2]。對(duì)于不同的網(wǎng)絡(luò)拓?fù)漕愋涂梢栽O(shè)計(jì)不同的查詢處理算法。主要分兩種情況考慮：（1）在一般的遠(yuǎn)程網(wǎng)絡(luò)通信中，網(wǎng)絡(luò)傳輸?shù)耐ㄐ艜r(shí)間往往比本地局部數(shù)據(jù)處理時(shí)間要長(zhǎng)，因而可以忽略本地的數(shù)據(jù)處理時(shí)間，以網(wǎng)絡(luò)傳輸?shù)耐ㄐ艜r(shí)間為主要優(yōu)化方向，那

5、么減少傳輸?shù)臄?shù)據(jù)量和傳輸次數(shù)即為主要目標(biāo)和途徑。8（2）在高速的局域網(wǎng)絡(luò)中，網(wǎng)絡(luò)傳輸非?？?，相比局部的處理時(shí)間就短很多。這種情況下減少局部處理時(shí)間是主要的優(yōu)化方向。一般以響應(yīng)時(shí)間作為網(wǎng)絡(luò)傳輸?shù)囊粋€(gè)重要指標(biāo)。響應(yīng)時(shí)間包括通信和處理時(shí)間。根據(jù)網(wǎng)絡(luò)類型的不同各有側(cè)重點(diǎn)。基于以上分析，分布式數(shù)據(jù)查詢的代價(jià)可以歸結(jié)為CPU代價(jià)、I/O和網(wǎng)絡(luò)通信代價(jià)之和。網(wǎng)絡(luò)通訊代價(jià)和數(shù)據(jù)傳輸量和網(wǎng)絡(luò)傳輸速率相關(guān)。其公式可以估算為：T=C0+C1*P（1）C0為兩端通信初始化的總時(shí)間，C1為網(wǎng)絡(luò)傳輸速率，P為傳輸數(shù)據(jù)的總量

6、。2分布式數(shù)據(jù)庫(kù)查詢處理過程分布式數(shù)據(jù)庫(kù)系統(tǒng)中查詢處理需要考慮：先將查詢轉(zhuǎn)換為等價(jià)的關(guān)系代數(shù)表達(dá)式，然后從各等價(jià)表達(dá)式中選擇最優(yōu)代數(shù)表達(dá)式進(jìn)行查詢優(yōu)化處理。需要涉及到網(wǎng)絡(luò)各節(jié)點(diǎn)之間的數(shù)據(jù)交互，選擇最優(yōu)的節(jié)點(diǎn)路徑和數(shù)據(jù)傳輸方式。2.1查詢分類處理分布式環(huán)境的查詢類型包括本地查詢、遠(yuǎn)程查詢和全局查詢，本地查詢即局部查詢，它同集中式數(shù)據(jù)庫(kù)的優(yōu)化技術(shù)一致。遠(yuǎn)程和全局查詢描述如下：8（1）遠(yuǎn)程查詢。單點(diǎn)數(shù)據(jù)的遠(yuǎn)程通信。若數(shù)據(jù)是冗余分配的，要減少查詢處理的通信代價(jià)應(yīng)該盡可能的選擇從發(fā)出查詢的節(jié)點(diǎn)最近的節(jié)點(diǎn)上

7、的數(shù)據(jù)或者數(shù)據(jù)片作為查詢對(duì)象（2）全局查詢。多點(diǎn)數(shù)據(jù)處理，其過程為：首先要確定查詢對(duì)象，然后根據(jù)可用訪問路徑和必要的算法確定二元操作連接以及并操作的次序，最后確定執(zhí)行節(jié)點(diǎn)（站點(diǎn)），需要考慮通信代價(jià)、執(zhí)行效率以及查詢速度，選擇原則為：盡量選擇距離提供站點(diǎn)數(shù)據(jù)的站點(diǎn)較近的站點(diǎn)；另外盡量選擇較空閑的站點(diǎn)執(zhí)行查詢。總之，選擇最佳的查詢處理策略，要確定好必要的物理片段以執(zhí)行查詢，也要確定在查詢處理中各操作執(zhí)行的次序和執(zhí)行站點(diǎn)，此外，還取決于具體實(shí)現(xiàn)算法的操作。從分布式數(shù)據(jù)庫(kù)系統(tǒng)體系結(jié)構(gòu)，分布式查詢處理過程

8、有四個(gè)層次：查詢分解、數(shù)據(jù)本地化、全局優(yōu)化和局部?jī)?yōu)化，其層次結(jié)構(gòu)如圖1。圖1分布式查詢層次3分布式查詢優(yōu)化算法分布式數(shù)據(jù)庫(kù)中查詢優(yōu)化是圍繞著查詢策略優(yōu)化和局部處理的優(yōu)化展開的。不同的結(jié)構(gòu)、不同的應(yīng)用中執(zhí)行策略也不相同，系統(tǒng)資源的消耗和傳輸響應(yīng)時(shí)間也有差異。查詢優(yōu)化的基本方法有二：查詢轉(zhuǎn)化和查詢映射。8查詢轉(zhuǎn)化：例如：連接或投影等關(guān)系操作，執(zhí)行順序不同。查詢映射：使用優(yōu)化算法實(shí)現(xiàn)關(guān)系操作、訪問設(shè)備。本文主要闡述分布式數(shù)據(jù)庫(kù)系統(tǒng)的查詢處理半連接方法。3.1半連接查詢優(yōu)化基本方法半連接方法是利用連接和