資源描述：
《決策樹過擬合問題分析》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、決策樹過擬合問題研究摘要數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)是(KnowledgeDiscoveryinDatabases，簡稱KDD)是當(dāng)前涉及人工智能和數(shù)據(jù)庫等學(xué)科的一門相當(dāng)活躍的研究領(lǐng)域，分類是其中的一個(gè)重要研究方向。決策樹是分類中常用的模型之一，自1966年被提出以來已經(jīng)得到了廣泛的研究和應(yīng)用。然而，由于種類偏見，過擬合等問題，使決策樹優(yōu)化成為研究人員關(guān)注的熱點(diǎn)。本文基于針對(duì)可疑實(shí)例分析以及結(jié)點(diǎn)純度差變化趨勢兩個(gè)方面分別對(duì)決策樹構(gòu)造算法中的過擬合問題處理展開研究，主要工作如下：1．綜述并分析了現(xiàn)有決策樹經(jīng)典算法及主要優(yōu)化算法。2．提出了基于可疑
2、實(shí)例影響度分析的改進(jìn)的C4．5rules算法，將可疑實(shí)例進(jìn)行有效劃分，并計(jì)算其全局影響度大小，使得分類規(guī)則能有效避開可疑實(shí)例而更加正確的反應(yīng)數(shù)據(jù)的真實(shí)情況。3．針對(duì)傳統(tǒng)決策樹過擬合現(xiàn)象普遍且大多數(shù)預(yù)剪枝算法嚴(yán)重依賴領(lǐng)域知識(shí)的問題，提出基于結(jié)點(diǎn)純度差(PDN，PurityDistanceofNode)變化趨勢的決策樹優(yōu)化算法，通過跟蹤相鄰父子結(jié)點(diǎn)問的最大純度差變化趨勢，判定停止建樹的時(shí)機(jī)，可以獨(dú)立于領(lǐng)域知識(shí)實(shí)現(xiàn)有效的預(yù)剪枝并很好地控制了過擬合的發(fā)生，同時(shí)大大減小了決策樹規(guī)模。一4．基于上述研究，實(shí)現(xiàn)了原型系統(tǒng)，從理論和實(shí)驗(yàn)上證明了所
3、提出的算法的正確性和有效性。關(guān)鍵詞：知識(shí)發(fā)現(xiàn)：分類；可疑實(shí)例；結(jié)點(diǎn)純度；過擬合：OverfittingProblemResearchingonDecisionTreeAbstractKnowledgeDiscoveryinDatabases(KDD)isanactiveresearchdomainnowadays，anditisrelatedtoafewsubjectssuchasartificialintelligenceanddatabase．Classificationisanimportantresearchfieldin
4、KDD．Decisiontreeisoneofthemodelsthatareoftenusedinclassification，andithasbeenwidelyresearchedandappliedsinceitwasproposedin1966．However,decisiontreehassomedisadvantagessuchasvarietybias，lackofanti·noisecapability，etc，andoptimizationofdecisiontreehasbecomearesearchhots
5、pot．Thedissertationfocusesonsuspectinstancesanalysisandprutitydistanceofnodetwoaspects，andthemainachievementsareasfollows：1．Anoverviewandanalysisofclassicalandoptimizeddecisiontreealgorithmsisputforward．2．TheImprovedC4．5rulesAlgorithmBasedOnImpact·MeasurementOfTheSusp
6、ectInstances，devidethesuspectinstancesfromtheoriginaldataeffectivelyandcomputetheirimpact-measurementsbytheinformationgainesofit’Sattributes。thatbasedontheforwardworksclassificationrulescanavoidthesuspectinstanceseffectivelyandperformtheturesituationofthedata．3．Accord
7、ingtotheproblemsthatover—fittingisseriousandpre-pruningdependonthefieldknowledgeoftraditionaldecisiontreealgorithm，DecisionTreePre-PruningBasedonPDNTrendalgorithmispresented，whichisbasedonpuritydistanceofthenodes，findthetimethatwhenstopthedecisiontreegrowingbywatching
8、thebiggestpuritydistancetrendofthenodes，achievepre—pruningnotdependonthefieldknowledgeandavoidtheover·fittingproblemandlesse
