基于日志分析的sql server數(shù)據(jù)庫(kù)變更數(shù)據(jù)捕獲方法的研究與實(shí)現(xiàn)

《基于日志分析的sql server數(shù)據(jù)庫(kù)變更數(shù)據(jù)捕獲方法的研究與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、基于日志分析的SQLServer數(shù)據(jù)庫(kù)變更數(shù)據(jù)捕獲方法的研究與實(shí)現(xiàn)摘摘要要摘摘要要傳統(tǒng)的數(shù)據(jù)集成、數(shù)據(jù)傳播和ETL工具都是周期性把源端大量的數(shù)據(jù)轉(zhuǎn)移到目標(biāo)端,已無(wú)法滿足新的商業(yè)需求,如數(shù)據(jù)倉(cāng)庫(kù)的持續(xù)更新、接近實(shí)時(shí)的商業(yè)智能以及業(yè)務(wù)數(shù)據(jù)存儲(chǔ)?；谑聞?wù)日志的變更數(shù)據(jù)捕獲技術(shù)就為這些新IT業(yè)務(wù)需求提供了一種新的解決方案。本文在介紹事務(wù)日志原理和數(shù)據(jù)庫(kù)恢復(fù)技術(shù)的基礎(chǔ)上,提出了基于日志分析SQLServer數(shù)據(jù)庫(kù)變更數(shù)據(jù)捕獲方法。該方法通過(guò)異步讀取事務(wù)日志,捕獲變更數(shù)據(jù)。主要解決了以下幾個(gè)問(wèn)題:1防止未捕獲變更數(shù)據(jù)的事務(wù)日志被截?cái)?2

2、事務(wù)部分回滾中補(bǔ)償日志的問(wèn)題;3制定捕獲進(jìn)程重啟處理的正確方案,以及如何減少重啟的時(shí)間;4提高捕獲進(jìn)程的效率。關(guān)鍵字:事務(wù)日志,SQLServer數(shù)據(jù)庫(kù),變更數(shù)據(jù)捕獲,部分回滾IAbstractTraditionally,DataIntegration,DataPropagation,andETLextract,transformandloadprocessesrunonaperiodicbasisweekly,dailyanduseabulkdatamovementapproachthatmovesandintegrate

3、stheentiresourcedatatoatargetdatasource.Thisapproachislimitedinitsabilitytodealwithnewtrendsandbusinessrequirements,someofwhichincludecontinuousrefreshingofaDW,nearreal-timebusinessintelligenceandoperationaldatastores.BasedontransactionlogChange-Data-CaptureCDCtech

4、nologyprovidesasolutiontoIToperationalchallengesandthenewbusinessmodelsThispaperintroducestheprincipleoftransactionlogsanddatabaserecoverytechniques,proposesachange-data-capturemethodbasedonSQLServerdatabaseloganalysisBymeansoftheasynchronousreadtransactionlog,this

5、methodcapturesdatachanges.Thisthesisaddressesthefollowingissues:Firstly,avoidthatthetransactionlogsnotcapturedchangedataaretruncated;Secondly,howtoprocesscompensationlogsforpartialtransactionrollbacks;Thirdly,developtherightalgorithmfortherestartofcaptureprocess,an

6、dhowtoreducerestarttime;Finally,toimprovetheefficiencyofcaptureprocessKeywords:transactionlog,SQLServerdatabase,changedatacapture,partialrollbackIII目目錄錄目目錄錄摘摘摘摘要要要要..IABSTRACTIII目目錄錄V目目錄錄第第第第一一一一章章章章緒緒緒緒論論論論11.1課題背景與來(lái)源11.2相關(guān)研究工作21.3本文研究意義和主要工作.21.4論文安排3第第第第二二二二章章章章

7、變變變變更更更更數(shù)數(shù)數(shù)數(shù)據(jù)據(jù)據(jù)據(jù)的的的的捕捕捕捕獲獲獲獲方方方方法法法法.52.1捕獲方法5第第第第三三三三章章章章SQLSERVER事事事事務(wù)務(wù)務(wù)務(wù)日日日日志志志志原原原原理理理理113.1日志文件113.2日志113.3檢查點(diǎn).143.4事務(wù)日志153.5ARIES算法.20第第第第四四四四章章章章事事事事務(wù)務(wù)務(wù)務(wù)日日日日志志志志讀讀讀讀取取取取方方方方法法法法與與與與解解解解析析析析的的的的研研研研究究究究234.1讀取日志增量的可靠性234.2原始日志記錄解析304.3提高日志的解析效率.32第第第第五五五五章章章章

8、變變變變更更更更數(shù)數(shù)數(shù)數(shù)據(jù)據(jù)據(jù)據(jù)捕捕捕捕獲獲獲獲器器器器的的的的實(shí)實(shí)實(shí)實(shí)現(xiàn)現(xiàn)現(xiàn)現(xiàn)與與與與應(yīng)應(yīng)應(yīng)應(yīng)用用用用.375.1系統(tǒng)實(shí)現(xiàn)平臺(tái)和開(kāi)發(fā)工具375.2系統(tǒng)的功能描述375.3系統(tǒng)功能模塊劃分385.4系統(tǒng)模塊實(shí)現(xiàn).39第第第第六六六六章章章章總總總總結(jié)結(jié)結(jié)結(jié)與與與與展展展展望望望望49參參參