探究基于云計算的大數(shù)據(jù)挖掘平臺.pdf

《探究基于云計算的大數(shù)據(jù)挖掘平臺.pdf》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。

1、技經(jīng)濟市場探究基于云計算的大數(shù)據(jù)挖掘平臺郭杰鋒，王琳琳(1．東北石油大學秦皇島分校計算機中心，河北秦皇島066000；2．大慶油田有限責任公司試油試采分公司，黑龍江大慶163000)摘要：云計算技術具備動態(tài)資源分配和調(diào)度、虛擬化和高可用性的特點，能夠克服傳統(tǒng)數(shù)據(jù)挖掘技術速度慢、效率低和能耗高的弱點，有效的降低成本，提高數(shù)據(jù)挖掘效率。文章探討了一種基于云計算的并行大數(shù)據(jù)挖掘平臺的應用，并探討基于云計算的大數(shù)據(jù)挖掘系統(tǒng)構成、存在問題及應對措施。關鍵詞：云計算；大數(shù)據(jù)；挖掘；平臺1云計算在大數(shù)據(jù)挖掘中的重要性‘據(jù)，實現(xiàn)了海量

2、數(shù)據(jù)的存儲、分析、處理、挖掘，向子系統(tǒng)提供可近年來，隨著數(shù)據(jù)量的急劇增加．數(shù)據(jù)的低價值密度特性靠，高性能的數(shù)據(jù)。其核心部分就是HDFS——一種建立在大越發(fā)顯現(xiàn)出來，大數(shù)據(jù)時代的到來，凸顯了數(shù)據(jù)的重要性。但是型集群上的可靠存儲大數(shù)據(jù)集的文件系統(tǒng)和MaDReduce——數(shù)據(jù)大價值必須通過數(shù)據(jù)挖掘才能從低價值密度的數(shù)據(jù)中發(fā)一種簡化的分布式程序設計模型用于處理和生成大數(shù)據(jù)集?，F(xiàn)其潛在價值。數(shù)據(jù)挖掘通常需要遍歷許多數(shù)據(jù)獲得相關的統(tǒng)3基于云計算的數(shù)據(jù)挖掘平臺的問題和建議計信息，用于求解或優(yōu)化模型參數(shù)，在大規(guī)模數(shù)據(jù)上進行頻繁基于云計

3、算的數(shù)據(jù)挖掘平臺是云計算和數(shù)據(jù)挖掘的完美的數(shù)據(jù)訪問需要耗費大量運算時間。數(shù)據(jù)復雜度和系統(tǒng)計算能結(jié)合，融合了云計算的動態(tài)資源分配高效性和強大的數(shù)據(jù)挖掘力有限的矛盾日益突出，傳統(tǒng)的單機系統(tǒng)速度慢、效率低、能耗能力，二者相輔相成、相得益彰。基于云計算的數(shù)據(jù)挖掘平臺結(jié)高，而云計算平臺卻具備動態(tài)資源分配和調(diào)度、虛擬化和高可構復雜、內(nèi)容豐富。云計算綜合運用了分類算法、聚類分析、關用的特點，能夠滿足挖掘計算的性能要求。大數(shù)據(jù)挖掘平臺的聯(lián)規(guī)則、基于模式的相似性查找和時間序列或趨勢發(fā)現(xiàn)和分析建立和發(fā)展離不開云計算技術。云計算就是將復雜的

4、計算任務等多種算法對數(shù)據(jù)進行挖掘，達到良好的數(shù)據(jù)挖掘效果。云計分布在大量計算機構成的”云”中，將計算能力、存儲能力以及算為數(shù)據(jù)挖掘提供強大資源分配上的技術支持，而數(shù)據(jù)挖掘能應用服務能力按需分配給用戶，提高數(shù)據(jù)獲取的效率。而數(shù)據(jù)夠促進云計算的數(shù)據(jù)計算和管理能力大幅提高。基于云計算的挖掘則是將大量的、不完全的、有噪聲的、模糊的、隨機的實際數(shù)據(jù)挖掘平臺系統(tǒng)一般包括數(shù)據(jù)管理子系統(tǒng)、賬戶管理子系應用數(shù)據(jù)經(jīng)過加工處理，篩選優(yōu)化后，提取出隱藏在其中的有統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)、挖掘算法管理子系統(tǒng)四個子系統(tǒng)，負責不應用價值的信息。由于數(shù)據(jù)的

5、大量和復雜性，這就需要用到巨同的任務，彼此之間結(jié)合緊密?；谠朴嬎愕臄?shù)據(jù)挖掘平臺還大的存儲運算量。而基于云計算技術的數(shù)據(jù)挖掘平臺就能夠很包括一個服務器群和一個數(shù)據(jù)庫群。好的解決這一問題。它能夠有效的控制運算和存儲成本，提升對此，在建立數(shù)據(jù)挖掘云服務平臺時。一定要注重其專業(yè)性數(shù)據(jù)挖掘效率，進而打破傳統(tǒng)數(shù)據(jù)挖掘的瓶頸限制。和個性化，因地制宜，根據(jù)不同的服務對象構建相應的服務平2基于云計算的并行數(shù)據(jù)挖掘平臺臺。而且在數(shù)據(jù)挖掘使用的算法的選擇上也要盡可能的考慮其由于數(shù)據(jù)復雜多樣，數(shù)據(jù)挖掘和處理需要高速、高效，因此通用性，要可查

6、、可調(diào)、可視，對一些隱私數(shù)據(jù)要加大安全防護。需要并行計算來實現(xiàn)大規(guī)模的計算，而云計算平臺實質(zhì)上就是目前基于云計算的數(shù)據(jù)挖掘平臺系統(tǒng)的研發(fā)和應用已經(jīng)一個虛擬資源池，通過多個虛擬機和應用將資源按需分配給用取得了一定的成果。這一類系統(tǒng)具有其獨特的高效、處理數(shù)據(jù)戶，提高資源利用率?；谠朴嬎愕牟⑿袛?shù)據(jù)挖掘平臺的架構量大的優(yōu)勢，但是由于云計算技術目前還處在發(fā)展的初級階是利用了數(shù)據(jù)庫分片的思想，將數(shù)據(jù)分片后存儲在各個分節(jié)點段，還面臨著許多問題和挑戰(zhàn)．既要克服云服務軟件的安全性中，再由一個中央單元像一臺中央空調(diào)一樣來負責各個節(jié)點信問

7、題，還要克服數(shù)據(jù)挖掘算法和結(jié)果的不確定性。因此在構建息的匯總和維護。而各個分節(jié)點的算法是不固定的，也就是說運計算基礎上的數(shù)據(jù)挖掘平臺時，要注意與實際結(jié)合．注意設不同的部分可以使用不同的算法，應用在并行分布式環(huán)境中，計的個性化以及通用性，加大對隱私數(shù)據(jù)的加密保護。就更加靈活和高效，而這些是傳統(tǒng)的數(shù)據(jù)挖掘平臺所不具備的?；谠朴嬎愕牟⑿袛?shù)據(jù)挖掘平臺能夠利用云計算的海量存參考文獻：儲和并行計算能力解決大數(shù)據(jù)的海量和高效性要求。目前基于?鄭妙師．基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術研究卟信息通信．2014(08)．云計算的

8、并行數(shù)據(jù)挖掘平臺的研究已經(jīng)取得了一部分成果。何[2]丁巖，楊慶平，錢煜明．基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術清等開發(fā)了一種基于云計算的并行分布式大數(shù)據(jù)挖掘平臺研究Ⅱ】．中興通訊技術，2013(01)．，PDMiner(ParallelDistributedMiner)．運用云計算的手段，實現(xiàn)f3】程琳．基于云計算的數(shù)據(jù)挖掘系