基于spark平臺的大矩陣lu分解及求逆算法的研究與實(shí)現(xiàn)

《基于spark平臺的大矩陣lu分解及求逆算法的研究與實(shí)現(xiàn)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、１０級：公開學(xué)校代碼：００４密、交道乂肇ＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ碩±學(xué)位論文基于Ｓｐａｒｋ平臺的大矩陣ＬＵ分解及求逆算法的研究與實(shí)現(xiàn)作者姓名趙祥宇學(xué)科專業(yè)軟件工程；指導(dǎo)教師盧韋教授？＊培養(yǎng)院系軟件學(xué)院．化．；＇．：Ｉ刖；’、雜襄藝ｒ函＊ｆ＂滿３讀－Ｗ巧＾＇—：＊ｗｆｉ匯巧團(tuán)ｉ＇Ｉ；．．ｆ、、韓ｌｉ，，Ｙ齡交道乂攀碩±學(xué)位論文基于Ｓｐａｒｋ平臺的大矩陣ＬＵ分解及求逆算法的研究與實(shí)現(xiàn)ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔ

2、ａｔｉｏｎｏｆａＬａｒｇｅＳｃａｌｅＭａｔｒｉｘＬＵＤｅｃｏｍｐｏｓｉｔｉｏｎａｎｄＩｎｖｅｒｓｉｏｎＡｌｇｏｒｉ化ｍＢａｓｅｄｏｎＳｐａｒｋＰｌａｔｆｂｒｍ作者：趙祥宇導(dǎo)師：盧幸教授北京交通大學(xué)２０１６年６月學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)北京交通大學(xué)可＾心將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，提、、。供閱覽服務(wù)，并采用影印縮印或掃描等復(fù)制手段保存匯編Ｗ供査閱和借閱同意學(xué)校向國家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和

3、磁盤。學(xué)?？蔀榇嬖陴^際合作關(guān)系的兄弟商校用戶提供文獻(xiàn)傳遞服務(wù)和交換服務(wù)。（保密的學(xué)位論文在解密后適用本授權(quán)說明）學(xué)位論文作者簽名：導(dǎo)師簽名：簽字曰期；年（月＾曰簽字曰篇年＾月又曰／１１學(xué)校代碼：０００４密級：公開北京交通大學(xué)碩±學(xué)位論文基于Ｓｐａｒｋ平臺的大矩陣ＬＵ分解及求逆算法的研巧與實(shí)現(xiàn)ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａＬａｒｇｅＳｃａｌｅＭａｔｒｉｘＬＵＤｅｃｏｍｏｓｉｔｉｏｎａｎｄＩｎｖｅｒｓｉｏｎＡｌｏｒｉｔｈｍＢａｓｅｄｏｎＳａｒｋＰｌａｔｆ

4、ｏｒｍｐｇｐ作者姓名１３１２１６９１：趙樣宇學(xué)號：導(dǎo)師姓名；盧華職稱：教授學(xué)位類別；工學(xué)學(xué)位級別；碩±學(xué)科專業(yè)：軟件王程研究方向：軟件工程北京交通大學(xué)２０１６年６月致謝本論文研充工作得到了國家自然科學(xué)基金項(xiàng)目（Ｎｏ．６１２７２３５３）的資助，首先在此表示感謝。本論文的研究工作是在導(dǎo)師盧羊教授的親切關(guān)懷和悉也指導(dǎo)下完成的。盧幸老師嚴(yán)肅的科學(xué)態(tài)度、嚴(yán)謹(jǐn)?shù)闹螌W(xué)精神深深感染和激勵著我；不倦的工作熱情和科。學(xué)的工作方法給了我極大的幫助和影響在這蘭年的時間里，盧幸老師在學(xué)習(xí)上和生活上都給予了我很大

5、的關(guān)也和幫助，在此謹(jǐn)向盧韋老師致崇高的敬意和最衷屯、的感謝。、本論文在研巧過程中，包爾固德老師邢薇薇老師提供了巨大幫助。為論文的思路及撰寫工作提出了許多寶貴的意見和建議，拓寬了我的研巧思路，在此表示由衷的感謝。軟件學(xué)院１３０１班的同學(xué)在論文的研究工作中給予了熱情的幫助，在此向他們表示我的感激之情。一們、，我才能屯在學(xué)校完成我的學(xué)業(yè)，在生感謝我的家人和朋友，因?yàn)橛辛四慊钌细訌娜莸赜永щy和挑戰(zhàn)。北京交通大學(xué)碩±學(xué)位論文摘要在很多計(jì)算機(jī)科學(xué)的研巧領(lǐng)域中，矩陣求逆運(yùn)算都是基本模塊，在機(jī)器學(xué)習(xí)、。國像處理等領(lǐng)

6、域有著廣泛的應(yīng)用隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，在當(dāng)今這個信息爆炸的時代，計(jì)算機(jī)處理的數(shù)據(jù)量變得越來越大。因此，矩陣求逆算法的并行化逐漸成為了矩陣操作領(lǐng)域的熱口研巧方向。隨著Ｓｐａｒｋ框架的逐漸成熟，基于Ｓｐａｒｋ平臺的機(jī)器學(xué)習(xí)算法也逐漸成為時下、的研巧熱口。當(dāng)前矩陣求逆的并行算法主要通過Ｗ下幾種方式來進(jìn)行：ＬＵ分解ＳＶＤ分解、ＱＲ分解。因?yàn)椋蹋辗纸夥ㄔ诓⑿谢矫嫦噍^于ＳＶＤ分解法Ｗ及ＱＲ分解法有著一定的優(yōu)勢，所本文選用ＬＵ分解法來求解矩陣的逆矩陣。通過分析Ｓ臺的計(jì)算特點(diǎn)Ｗ及ＬＵ算法的特性一ｐａｒｋ平，本文提出了種基于Ｓｐａｒ

7、ｋ的并行ＬＵ一分解及求逆方法。該方法主要包括Ｗ下兩個步驟；首先，提出了種基于Ｓｐａｒｋ平臺的大矩陣ＬＵ分解算法來求解原始矩陣的ＬＵ分解。該算法基于并行的ＬＵ分解算法將矩陣分解為可Ｗ適配到內(nèi)存中的小塊迭代地進(jìn)行計(jì)算，巧將結(jié)果進(jìn)行整合來求解矩陣的ＬＵ分解。然后根據(jù)分解得到的下Ｈ角矩陣Ｗ及上Ｈ角矩陣，運(yùn)用矩一陣的分塊原理，提出了種迭代式王角矩陣求逆算法，將兩個三角矩陣求逆并相乘來求解原始矩陣的逆矩陣。在算法的實(shí)現(xiàn)過程中，結(jié)合Ｓｐａｒｋ框架的優(yōu)缺點(diǎn)，提出了王點(diǎn)優(yōu)化算法效率的方案，包括：１將巧法中頻巧用到的中間結(jié)果緩存到內(nèi)存（

8、）中，Ｐ）調(diào)優(yōu)ｓｈｕｆｌｅ過程執(zhí)行效率Ｗ及０）采用非遞歸方式實(shí)現(xiàn)算法。本文提出的基于Ｓｐａｒｋ平臺的大矩陣ＬＵ分解及求