資源描述:
《面向深度學習平臺的內(nèi)存管理器的設計與實現(xiàn).pdf》由會員上傳分享,免費在線閱讀,更多相關內(nèi)容在學術論文-天天文庫。
1、碩士學位論文面向深度學習平臺的內(nèi)存管理器的設計與實現(xiàn)DESIGNANDIMPLEMENTATIONOFMEMORYALLOCATORFORDEEPLEARNINGPLATFORM王顯宏哈爾濱工業(yè)大學2018年6月I國內(nèi)圖書分類號:TP311學校代碼:10213國際圖書分類號:621.3密級:公開工程碩士學位論文面向深度學習平臺的內(nèi)存管理器的設計與實現(xiàn)碩士研究生:王顯宏導師:余翔湛教授副導師:廖剛高級工程師申請學位:工程碩士學科:軟件工程所在單位:計算機科學與技術學院答辯日期:2018年6月授予學位單位:哈爾濱工業(yè)大學IIClassifiedIndex:TP311U.D.C
2、:631.3DissertationfortheDoctoralDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFMEMORYALLOCATORFORDEEPLEARNINGPLATFORMCandidate:XianhongWangSupervisor:Prof.XiangzhanYuAssociateSupervisor:GangLiaoAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofComp
3、uterandScienceDateofDefence:June,2018Degree-Conferring-Institution:HarbinInstituteofTechnologyIII摘要深度學習在圖像識別、語音識別、機器翻譯等領域取得了巨大的成功,產(chǎn)生了巨大的社會和經(jīng)濟效益。在內(nèi)存管理方面,深度學習應用仍然使用傳統(tǒng)的內(nèi)存管理方法,而傳統(tǒng)領域的內(nèi)存管理只包括CPU主機內(nèi)存的管理,沒有包括GPU設備內(nèi)存的管理,造成管理分散,使用成本增加。傳統(tǒng)領域的內(nèi)存管理為了兼顧各種應用,在深度學習應用中性能差,并且由于技術保密的原因,沒有辦法實現(xiàn)自主可控。迫切需要一種能夠高效管
4、理異構(gòu)內(nèi)存的分配器。本論文針對深度學習應用,設計和開發(fā)了一個管理異構(gòu)內(nèi)存的內(nèi)存分配器,取名為MADL(memoryallocatorforDeepLearning)。包括了對CPU主機內(nèi)存的管理和對GPU設備內(nèi)存的管理,提供了統(tǒng)一的接口,屏蔽了不同內(nèi)存的差異,使用戶不需要掌握太多底層細節(jié)的情況下就能夠使用。同時,MADL結(jié)合實際的深度學習應用使用大內(nèi)存對象的特征,優(yōu)化了對大內(nèi)存對象的管理,并采用內(nèi)存池技術在用戶態(tài)實現(xiàn)對內(nèi)存的管理,大大提高了內(nèi)存分配的效率。經(jīng)過權(quán)衡采用首次適應法來管理內(nèi)存,面對首次適應法尋找合適的空閑內(nèi)存需要線性查找,通過建立簡單索引大幅度的減少了空閑內(nèi)存
5、塊的查找的時間,提升了分配性能。MADL可以運行在Windows,類Unix,Android等操作系統(tǒng)上,可移植性非常好。并且設計和實現(xiàn)了全新的異構(gòu)內(nèi)存管理的架構(gòu),該架構(gòu)具有良好的穩(wěn)定性和可維護性。測試發(fā)現(xiàn)相比于傳統(tǒng)的內(nèi)存管理器,在分配時間上,MADL在CPU主機內(nèi)存的分配和回收速度上提升了15~20%,而在GPU設備內(nèi)存的分配和回收上則提升了17~30%;在內(nèi)存使用率上,MADL在CPU主機內(nèi)存使用率提升了2~5%,在GPU設備內(nèi)存的使用率上則提升了10~20%??傮w而言,MADL的性能優(yōu)于傳統(tǒng)分配器,達到了設計目標。關鍵詞:內(nèi)存管理;設備內(nèi)存;首次適應法;GPU;內(nèi)存
6、池IVAbstract(TimesNewRoman小5號字)AbstractDeeplearninghasachievedgreatsuccessinthefieldsofimagerecognition,speechrecognition,MachineTranslationandsoon,bringinghugesocialandeconomicbenefits.Intheaspectofmemorymanagement,deeplearningapplicationsarestillusingtraditionalmemorymanagement,whichincl
7、udesonlythemanagementofCPUhostmemorywithoutthesupportofGPUdevicememorymanagement,resultinginmanagementdispersionandincreaseofusagecost.Thetraditionalmemoryallocator,inordertogiveconsiderationtovariousapplications,haspoorperformanceindeeplearningapplication.andtherei