資源描述：
《多模態(tài)融合的家庭音樂(lè)相冊(cè)自動(dòng)生成》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版)2017,06(9),661-668DOI:10.13878/j.cnki.jnuist.2017.06.011多模態(tài)融合的家庭音樂(lè)相冊(cè)自動(dòng)生成劉君芳邵曦南京郵電大學(xué)通信與信息工程學(xué)院導(dǎo)出/參考文獻(xiàn)已關(guān)注關(guān)注X關(guān)注成功！加關(guān)注后您將方便地在我的關(guān)注中得到本文獻(xiàn)的被引頻次變化的通知！分享·新浪微博·騰訊微博·人人網(wǎng)·開(kāi)心網(wǎng)·豆瓣網(wǎng)·網(wǎng)易微博收藏打印摘????要：隨著大數(shù)據(jù)以及社交網(wǎng)絡(luò)的發(fā)展,電子相冊(cè)與在線服務(wù)成為如今人們使用計(jì)算機(jī)與互聯(lián)網(wǎng)的基礎(chǔ)應(yīng)用.尤其是近年社交網(wǎng)絡(luò)的流行,電子相冊(cè)的數(shù)量得到了爆炸增長(zhǎng),而如何增強(qiáng)相冊(cè)的用戶體驗(yàn)變得
2、尤為重要.具有某種主題的相冊(cè)一般都帶有一定的情感信息,因此,本文研究了基于多模態(tài)融合的家庭音樂(lè)相冊(cè)自動(dòng)生成問(wèn)題,旨在使用戶能夠在享受音樂(lè)的同時(shí)配以與音樂(lè)情感相同的相冊(cè)圖片.針對(duì)音樂(lè)與圖片中所蘊(yùn)含的情感,本文在音樂(lè)和圖像中分別選取能夠表達(dá)其情感的句子級(jí)別的音頻特征和圖像特征,然后在圖像與音樂(lè)之間異構(gòu)和跨模態(tài)的特征融合問(wèn)題上,采用局部保持投影(LPP)方法,將圖像特征與音樂(lè)特征映射到更具情感分類能力的隱式特征空間中,實(shí)現(xiàn)了音樂(lè)相冊(cè)的自動(dòng)生成.在實(shí)驗(yàn)中,客觀評(píng)測(cè)結(jié)果表明,采用LPP方法在查準(zhǔn)率方面高于純CCA方法;在主觀評(píng)測(cè)中LPP獲得72.06%的滿意度,與人工推薦的
3、評(píng)價(jià)結(jié)果(78.09%)比較接近,明顯高于隨機(jī)推薦和CCA方法的滿意度.關(guān)鍵詞：音樂(lè)相冊(cè);情感模型;句子級(jí)別;多模態(tài)融合;隱式空間;作者簡(jiǎn)介：劉君芳,女,碩士生,研究方向?yàn)槎嗝襟w信息系統(tǒng)與多媒體通信.ljf@163.com作者簡(jiǎn)介：邵曦(通信作者),男,博士,副教授,主要研究方向?yàn)槎嗝襟w信息系統(tǒng)與多媒體通信.shaoxi@njupt.edu.cn收稿日期：2017-08-28基金：國(guó)家自然科學(xué)基金()Automaticgenerationoffamilymusicalbumbasedonmulti-modalfusionLIUJunfangSHAOXiColleg
4、eofTelecommunicationsandInformationEngineering,NanjingUniversityofPostsandTelecommunications;Abstract：Withthedevelopmentofthebigdataandsocialnetwork,electronicalbumsandonlineserviceshavebecomebasicusesofcomputersandtheInternet.Especiallyinrecentyears,thenumberofelectronicalbumshasexpl
5、odedwiththepopularityofsocialnetwork.Sohowtoimprovetheuserexperienceofmusicalbumbecomesparticularlyimportant.Aphotoalbumwithcertaintopicusuallyhassomeemotioninformation.Thispaperstudiestheproblemofautomaticgenerationoffamilymusicalbumbasedonmulti-modalfusion,sothatuserscanenjoymusicwh
6、enbrowsingalbumphotoswithmatchedemotion.Accordingtotheemotionsinmusicandimages,therepresentativesentence-levelfeaturesbothformusicandimagesareselected,andtheLPP(LocalityPreservingProjection)isemployedtostudytherelevancebetweenthemusicandtheimagesinthesameemotion.Theimagefeatureandthem
7、usicfeaturearemappedintothelatentspacewithmoreemotionalclassificationabilitytorealizetheautomaticgenerationofmusicalbum.Intheexperiments,theobjectiveevaluationresultshowsthattheLPPmethodishigherthanpureCCA(CanonicalCorrelationAnalysis)methodinprecision;andinthesubjectiveevaluation,the
8、propo
