gpu并行計算與cuda編程02

《gpu并行計算與cuda編程02》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、GPU并行計算與CUDA編程第2課DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）本周介紹內(nèi)容?1.并行編程的通訊模式?1.1什么是通訊模式?1.2常見通訊模式的類型和原來?2.GPU硬件模式?2.1GPU，SM(流處理器)，Kernel(核)，threadblock(線程塊)，線程?3.CUDA編程模型?3.1CUDA編程模型的優(yōu)點和缺點?3.2CUDA編程編程模型的一些原則?3.3CUDA內(nèi)存模型?3.4同步性synchronisation和屏障barrier?3.5編程模型?4.開始編寫CUDA程序?4.1GPU程序的一般步驟?4.2第一個GP

2、U程序講解——并行求平方DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.并行編程的通訊模式（CommunicationPatterns）1.1什么是通訊模式1.2通訊模式的類型和原理DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.通訊模式(CommunicationPatterns)?并行計算：非常多的線程在合作解決一個問題Communication?內(nèi)存：DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.常見通信模式?1.映射Map?2.聚合gather?3.

3、分散scatter?4.模板stencil?5.轉(zhuǎn)換transpose?6.壓縮reduce?7.重排scan/sortDATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?1.映射Map?輸入輸入關(guān)系：一一對應(yīng)(one-to-one)?例子：每個元素倍數(shù)擴(kuò)大，y[i]=3*x[i]DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?2.聚合gatter?輸入輸出關(guān)系：多對一(many-to-one)?例子：每相鄰3個元素求平均，y[i]=(x[i-1]+x[i]+x[i+1])/3DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第

4、一版講師羅韻（WeChat：LaurenLuoYun）?3.分散scatter?輸入輸出關(guān)系：一對多(one-to-many)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?4.模板stencil：以固定的模式讀取相鄰的內(nèi)存數(shù)值?輸入輸出關(guān)系：serveral-to-oneDATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?5.轉(zhuǎn)置transpose?輸入輸出關(guān)系：一對一（one-to-one）DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?6.壓縮reduce?輸入輸

5、出關(guān)系：多對一(all-to-one)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）?7.重排scan/sort1234ADD13610?輸入輸出關(guān)系：多對多(all-to-all)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.GPU硬件模式1.1GPU，SM(流處理器)，Kernel(核)，threadblock(線程塊)，線程DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）線程塊?Kernel核:可以理解為C/C++中的一個函數(shù)functionThreadBl

6、ocks:groupofthreadblockstosolveafunctionThreadBlock:agroupofthreadsthatcooperatetosolvea(sub)problem線程塊DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）GPU?SM（streammultiprocessor）:流處理器simpleprocessormemory?GPU:每個GPU有若干個SM，最少有1個，目前16個算大的，每個SM并行而獨立運(yùn)行GPUDATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.CUDA編

7、程模型1.1CUDA編程模型的優(yōu)點和缺點1.2CUDA編程編程模型的一些原則1.3CUDA內(nèi)存模型1.4同步性synchronisation和屏障barrier1.5編程模型DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)第一版講師羅韻（WeChat：LaurenLuoYun）1.CUDA編程的優(yōu)點和后果?CUDA最大的特點：對線程塊將在何處、何時運(yùn)行不作保證。?優(yōu)點：?1.硬件真正有效的運(yùn)行，靈活?2.無需要線程間互相等待?3.可擴(kuò)展