資源描述:
《基于云計(jì)算的層次粗糙集模型約簡(jiǎn)算法研究.pdf》由會(huì)員上傳分享,免費(fèi)在線(xiàn)閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。
1、Vo1.42No.8計(jì)算機(jī)與數(shù)字工程總第298期l332Computer&DigitalEngineering2014年第8期基于云計(jì)算的層次粗糙集模型約簡(jiǎn)算法研究閆沖(東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院大慶163318)摘要傳統(tǒng)的并行屬性約簡(jiǎn)算法通過(guò)利用抽樣技術(shù)獲取小數(shù)據(jù)樣本進(jìn)行知識(shí)約簡(jiǎn),但對(duì)于大數(shù)據(jù)集來(lái)說(shuō),樣本數(shù)據(jù)不具有一般性且無(wú)法代表整個(gè)數(shù)據(jù)集。為了彌補(bǔ)傳統(tǒng)并行屬性約簡(jiǎn)算法只能用來(lái)計(jì)算最小屬性約簡(jiǎn)、處N4,數(shù)據(jù)集的缺陷,論文通過(guò)分析了先驗(yàn)知識(shí)在粒計(jì)算中的重要性,結(jié)合云計(jì)算技術(shù)處理海量數(shù)據(jù)的優(yōu)勢(shì),以粗糙集理論為背景,從不同角度、層次出發(fā)建立層次粗糙集模型,提出基于云計(jì)算的層次粗糙集模型
2、約簡(jiǎn)算法,討論并實(shí)現(xiàn)了知識(shí)約簡(jiǎn)算法中的可并行化操作,利用Hadoop在普通計(jì)算機(jī)集群上進(jìn)行試驗(yàn),從運(yùn)行時(shí)間、加速比、可擴(kuò)展性i個(gè)方面對(duì)所提出基于正區(qū)域、信息熵、邊界域算法的重要性進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)證明:基于云計(jì)算的層次粗糙集模型約簡(jiǎn)算法可以有效處理大數(shù)據(jù)集。關(guān)鍵詞粒計(jì)算;層次粗糙集模型;云計(jì)算;Hadoop;約簡(jiǎn)算法;大數(shù)據(jù)中圖分類(lèi)號(hào)TP393DOI:10.3969/j.issnl672—9722.2014.08.006ReductionAlgorithmBasedO11ModelofHierarchicalRoughSetofCloudComputingYANChong(SchoolofC
3、omputerandInformationTechnology,NortheastPetroleumUniversity,Daqing163318)AbstractTraditionalparallelattributereductionalgorithmthroughtheuseofsamplingtechniquesSOthatobtainasmalldatasampletoexecuteknowledgereduction,butforlargedatasets,sampledataarenotgeneralandnotrepresentativeoftheentiredatase
4、t.Tocompensateforthetraditionalparallelattributereductionalgorithmcanbeusedtocalculatetheminimumattributereduction,todealwithsmalldatasetsdefects,Thispaperanalyzestheimportanceofpriorknowledgeingranularcomputing,combiningtheadvantagesofcloudcomputingtechnologyprocessingmassdata,inroughsettheoryas
5、abackground,fromdifferentanglesandlevels,startingtobuildhierarchicallevelsroughsetmodelisproposedbasedonhier—archicalreductionalgorithmofroughsetmodelofcloudcomputing,discussedandimplementedknowledgereductionalgorithmcanbeparallelizedoperations,testingbyusingHadoopon3nordinarycomputercluster,itwi
6、llbeimportantevaluatetobasedonpositiveregion,informationentropy,theboundaryregionMgorithmfromtherunningtime,speedup,scalability.Theresultofexperimentshowsthatthemodelofhierarchicalroughsetreductionalgorithmbasedoncloudcomputingcanbehandlelargedatasetseffectively.KeyWordsgranularcomputing,modelofh
7、ierarchicalroughset,cloudcomputing,Hadoop,reductionalgorithm,bigdataClassNumberTP393存在兩個(gè)缺陷:一方面經(jīng)典粗糙集約簡(jiǎn)算法及其擴(kuò)l引言展理論無(wú)法突破利用多角度、單層次概念來(lái)解決問(wèn)隨著大數(shù)據(jù)時(shí)代的來(lái)臨,海量數(shù)據(jù)集的處理問(wèn)題,不能體現(xiàn)多角度、多層次思想;于是學(xué)者們開(kāi)始題越來(lái)越受到重視。至今為止,粗糙集模型下的知研究基于多角度、多層次思想研究粗糙集模識(shí)約簡(jiǎn)