資源描述:
《完全頻繁項(xiàng)集挖掘算法及其在分類中應(yīng)用研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、大連理工大學(xué)碩士學(xué)位論文完全頻繁項(xiàng)集挖掘算法及其在分類中應(yīng)用研究姓名:張勇申請學(xué)位級別:碩士專業(yè):模式識(shí)別與智能系統(tǒng)指導(dǎo)教師:韓敏20091201大連理工大學(xué)碩士學(xué)位論文摘要隨著社會(huì)科技的進(jìn)步,信息量呈幾何級增長,如何從大量信息中提取出潛在相互關(guān)聯(lián)的知識(shí)集合體,成為當(dāng)前數(shù)據(jù)挖掘領(lǐng)域中迫切需要解決的一個(gè)問題。頻繁項(xiàng)集的提出,為解決該問題提供了一個(gè)有效的方法。頻繁項(xiàng)集是指從數(shù)據(jù)中提取出滿足支持度閾值的的信息集合體,它包含著大量潛在有用信息,能夠有效地為人類提供決策支持。目前基于Apriori算法思想的完全頻繁項(xiàng)集挖掘算法能夠有效地實(shí)現(xiàn)稀疏型數(shù)據(jù)集和短模式下的挖掘工作,但在密
2、集型數(shù)據(jù)集和長模式下,挖掘效率不高,因此應(yīng)用受到很大限制。針對當(dāng)前完全頻繁項(xiàng)集挖掘算法在密集數(shù)據(jù)集和長模式挖掘上存在的效率問題,本文提出了一種Apriori改進(jìn)算法,該算法引入垂直比特?cái)?shù)據(jù)表示方法以及交叉計(jì)數(shù)方式,利用索引向量表生成候選二項(xiàng)集,同時(shí)將非頻繁二項(xiàng)集用于候選項(xiàng)集的剪枝,并在計(jì)數(shù)階段,采用前綴數(shù)組數(shù)據(jù)結(jié)構(gòu)優(yōu)化計(jì)數(shù)方式。實(shí)驗(yàn)結(jié)果表明,經(jīng)改進(jìn)后的Apriori算法能夠有效地挖掘密集數(shù)據(jù)集和長模式下的頻繁項(xiàng)集。為了進(jìn)一步提高計(jì)數(shù)的效率,在前文研究的基礎(chǔ)上,引入差集思想,計(jì)數(shù)由之前的完全標(biāo)識(shí)集交叉計(jì)數(shù)轉(zhuǎn)化為差集標(biāo)識(shí)集計(jì)數(shù),從而迸一步地提高了Apriori算法的運(yùn)行效率
3、。最后,本文將頻繁項(xiàng)集研究成果應(yīng)用于分類中。傳統(tǒng)的分類算法存在分類過程黑箱操作,分類結(jié)果無法解釋的缺點(diǎn),而基于頻繁項(xiàng)集的關(guān)聯(lián)規(guī)則分類算法能夠有效解決上述闖題,但由于缺乏有效的規(guī)則評價(jià)指標(biāo),分類精度普遍不高。鑒于此,本文提出一種新的關(guān)聯(lián)規(guī)則分類算法。它引入了興趣度規(guī)則評價(jià)指標(biāo),有效地刪除分類信息少的冗余規(guī)則,并利用權(quán)重準(zhǔn)則對規(guī)則重要性進(jìn)行排序,進(jìn)而達(dá)到提高分類精度的目的。關(guān)鍵字:數(shù)據(jù)挖掘;關(guān)聯(lián)規(guī)則;頻繁項(xiàng)集;關(guān)聯(lián)分類規(guī)則;Apriori算法完全頻繁項(xiàng)集挖掘算法及其在分類中應(yīng)用研究ResearchonAllFrequentItemsetsMiningAlgorithmand
4、ItsApplicationtotheClassificationAreaAbstractWiththecurrentadvancesinsocialtechnology,theamountofinformationgrowsexponentially,howtoextracttheusefulknowledgecollectionfromsuchbigamountinterrelatedinformation,hascurrentlybecomeoneofthecriticaIproblemsinthedataminingfield.Thepropositionoff
5、requentitemsetsisalleffectivesolvingmethod.Frequentitemsetsareacollectionofinformationwhichisextractedfromlargeamountsofdatathatpassthesupportthreshold.Theycontainalargenumberofpotentiallyusefulknowledge,andcalleffectivelyprovidedecisionsuppoaforhuman.Currently,frequentitemsetsminingalgo
6、rithmsbasedonAprioripricipleareeffectiveonsparsedatasetsandshortpatterns,butnotondensedatasetsandlongpatterns,thus,theirapplicationisgreatlylimited,AnimprovedApfiofialgorithmisproposedtodealwiththemimngproblemonthedensedatasetandlongpattern,whichcannotbeeffectivelyhandledbythecurrentfreq
7、uentitemsetsminingalgorithms.Thenewalgorithmintegratestheverticaldatastructureandintersectingmethod,andusestheindexvectortabletogeneratecandidate2-itemsets,besides,italsousesthenon·frequent2-itemsetstoprunethecandidateitemsets,andadoptstheprefixArraytooptimizetheintersect