資源描述：
《云計(jì)算環(huán)境下計(jì)算模型性能優(yōu)化的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、摘要云計(jì)算給信息技術(shù)行業(yè)帶來了一場(chǎng)新的革命。支撐云計(jì)算的關(guān)鍵技術(shù)包括虛擬化技術(shù)、分布式文件系統(tǒng)、并行計(jì)算技術(shù)和非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)等。Hadoop是一個(gè)集各種云計(jì)算技術(shù)于一體的綜合開源云計(jì)算平臺(tái)，主要由HDFS文件系統(tǒng)和MapReduce計(jì)算模型組成。Hadoop能夠利用多臺(tái)機(jī)器組成的集群對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算，具有可擴(kuò)展性、容錯(cuò)性和高效性等特點(diǎn)。其中HDFS文件系統(tǒng)和MapReduce編程模型的思想都來源于Google。目前Hadoop處于不斷成熟的階段。對(duì)于Hadoop系統(tǒng)的實(shí)現(xiàn)框架，許多科研人員對(duì)其進(jìn)行了分析并提出了多種改進(jìn)措施。除了架構(gòu)外，Hadoop的配置對(duì)
2、于系統(tǒng)的性能來說也至關(guān)重要。本文主要研究提高Hadoop系統(tǒng)性能的配置優(yōu)化方法。Hadoop通過配置來對(duì)整個(gè)系統(tǒng)進(jìn)行管理。Hadoop的配置優(yōu)化問題是一個(gè)復(fù)雜的組合優(yōu)化問題。各屬性問存在依賴和制約關(guān)系，設(shè)置不合理會(huì)導(dǎo)致資源競(jìng)爭(zhēng)，系統(tǒng)的整體性能降低。智能算法能夠解決組合優(yōu)化問題。以智能算法為基礎(chǔ)，首先提出適用于特定應(yīng)用的配置優(yōu)化策略。然后考慮云計(jì)算平臺(tái)的實(shí)際使用情況，提出一種多應(yīng)用環(huán)境下的系統(tǒng)配置優(yōu)化模型。對(duì)于具體應(yīng)用，基于遺傳模擬退火算法，將每種配置方案作為染色體，多次選擇、交叉、變異，并結(jié)合模擬退火原理，控制新染色體的存活和整個(gè)算法的迭代次數(shù)，尋找出最優(yōu)的系統(tǒng)配置方
3、案。實(shí)驗(yàn)結(jié)果表明該方法能有效提高作業(yè)的運(yùn)行效率，并且迭代結(jié)束時(shí)群體的整體效果都非常好。對(duì)于具體應(yīng)用，基于混沌粒子群算法，將每種配置方案作為粒子的位置，通過粒子的不斷運(yùn)動(dòng)來尋找最優(yōu)配置。為使算法既能進(jìn)行全局搜索和局部搜索，同時(shí)又能避免過早陷入局部最優(yōu)，采用基本粒子群算法和權(quán)重系數(shù)改進(jìn)、最大速度改進(jìn)、混沌算法相結(jié)合的處理方法。實(shí)驗(yàn)結(jié)果表明該方法也能明顯提高系統(tǒng)的效率，得出的最優(yōu)配置具有穩(wěn)定性，并且該方法實(shí)現(xiàn)簡(jiǎn)單，迭代次數(shù)少。對(duì)于實(shí)際運(yùn)行的整個(gè)系統(tǒng)，需要處理各種類型的作業(yè)，因此考慮多種應(yīng)用，提出一種自適應(yīng)的系統(tǒng)配置優(yōu)化方法。這種方法根據(jù)云計(jì)算平臺(tái)的作業(yè)特點(diǎn)分兩種情況進(jìn)行處理
4、。當(dāng)系統(tǒng)中的作業(yè)類型比較相似時(shí)，根據(jù)遺傳模擬退火算法整體都朝最優(yōu)解接近的特點(diǎn)，以遺傳模擬退火算法為基礎(chǔ)，提出即時(shí)優(yōu)化的配置模型；當(dāng)系統(tǒng)中的作業(yè)差別較大時(shí)，提出經(jīng)驗(yàn)參照的模型，依據(jù)數(shù)據(jù)庫(kù)查詢進(jìn)行系統(tǒng)配置，當(dāng)數(shù)據(jù)中不存在該類型作業(yè)的配置信息時(shí)，考慮混沌粒子群算法簡(jiǎn)單快速的特點(diǎn)，基于混沌粒子群算法尋找系統(tǒng)的最優(yōu)配置，并將新的配置記錄添加到數(shù)據(jù)庫(kù)中。關(guān)鍵詞：云計(jì)算Hadoop性能優(yōu)化遺傳模擬退火算法混沌粒子群算法自適應(yīng)配置模型IVABSTRACTCloudcomputinghasbroughtanewrevolutionintotheITindustry．Thekeytech
5、nologiesofcloudcomputingincludevirtualizationtechnology,distributedfilesystems，parallelcomputingtechnologies，NoSQLdatabasetechnology,andSOon．Hadoopisanopensourcecloudcomputingplatformsynthesizingavarietyofcloudcomputingtechnology,mainlyconsistsofHDFSfilesystemandMapReducecomputationmode
6、l．Hadoopcanstorageandprocessmassivedatabyclusterscomposingofmultiplecomputers，andhasthecharacteristicsofscalability,faulttoleranceandefficiency．TheideasofHDFSfilesystemandMapReduceprogrammingmodelcomefromGoogle．Hadoopisinaconstantlymaturestage．ToHadoopsystemframework,manyresearchershave
7、analyzedandproposedavarietyofimprovementmeasures．Inadditiontoarchitecture，HadoopconfigurationhasanimporteffectonthesystempapermainlystudiesthemethodofhowtoconfigureHadoopinordertoimprovetheperformanceoftheHadoopsystem．Hadoopmanagesthewholesystemthroughtheconfiguration．Hadoopcon
