淺談大數(shù)據(jù)時代的挑戰(zhàn)與應(yīng)對策略

《淺談大數(shù)據(jù)時代的挑戰(zhàn)與應(yīng)對策略》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、淺談大數(shù)據(jù)時代的挑戰(zhàn)與應(yīng)對策略摘要：隨著數(shù)據(jù)量的飛速增長，大數(shù)據(jù)時代已經(jīng)到來。文章介紹了大數(shù)據(jù)的特征，描述了大數(shù)據(jù)帶來的挑戰(zhàn)，概述了針對大數(shù)據(jù)管理的應(yīng)對策略。關(guān)鍵詞：大數(shù)據(jù)時代；信息安全；策略中圖分類號：F49大數(shù)據(jù)是當(dāng)下最熱門的技術(shù)詞匯，它的出現(xiàn)是一場顛覆性的技術(shù)變革，對國家、企業(yè)和個人都將產(chǎn)生巨大影響。[1]2013年被業(yè)界稱之為大數(shù)據(jù)元年。國際數(shù)據(jù)公司（IDC）監(jiān)測，大數(shù)據(jù)在2013年增長幅度巨大。什么是大數(shù)據(jù)？大數(shù)據(jù)是指利用先進(jìn)的技術(shù)對海量數(shù)據(jù)進(jìn)行捕獲、存儲、分析和再提取，這些原始數(shù)據(jù)具有復(fù)雜、速度快和快速變化

2、的特點(diǎn)。當(dāng)前，許多國家正在對大數(shù)據(jù)的研究尋找更優(yōu)的解決方案，美國政府投入數(shù)百億美元用于該項(xiàng)研發(fā)，標(biāo)志著在美國大數(shù)據(jù)已經(jīng)上升至國家戰(zhàn)略。1大數(shù)據(jù)的特點(diǎn)1.16淺談大數(shù)據(jù)時代的挑戰(zhàn)與應(yīng)對策略摘要：隨著數(shù)據(jù)量的飛速增長，大數(shù)據(jù)時代已經(jīng)到來。文章介紹了大數(shù)據(jù)的特征，描述了大數(shù)據(jù)帶來的挑戰(zhàn)，概述了針對大數(shù)據(jù)管理的應(yīng)對策略。關(guān)鍵詞：大數(shù)據(jù)時代；信息安全；策略中圖分類號：F49大數(shù)據(jù)是當(dāng)下最熱門的技術(shù)詞匯，它的出現(xiàn)是一場顛覆性的技術(shù)變革，對國家、企業(yè)和個人都將產(chǎn)生巨大影響。[1]2013年被業(yè)界稱之為大數(shù)據(jù)元年。國際數(shù)據(jù)公司（IDC

3、）監(jiān)測，大數(shù)據(jù)在2013年增長幅度巨大。什么是大數(shù)據(jù)？大數(shù)據(jù)是指利用先進(jìn)的技術(shù)對海量數(shù)據(jù)進(jìn)行捕獲、存儲、分析和再提取，這些原始數(shù)據(jù)具有復(fù)雜、速度快和快速變化的特點(diǎn)。當(dāng)前，許多國家正在對大數(shù)據(jù)的研究尋找更優(yōu)的解決方案，美國政府投入數(shù)百億美元用于該項(xiàng)研發(fā)，標(biāo)志著在美國大數(shù)據(jù)已經(jīng)上升至國家戰(zhàn)略。1大數(shù)據(jù)的特點(diǎn)1.16數(shù)據(jù)量巨大。大數(shù)據(jù)通常是指10TB（1TB=1024GB）規(guī)模以上的數(shù)據(jù)量。[2]之所以產(chǎn)生如此巨大的數(shù)據(jù)量，一是由于各種信息系統(tǒng)的使用，使得我們能夠提取出抽象的數(shù)據(jù)，這些數(shù)據(jù)都會被存儲；二是由于語音視頻設(shè)備的使

4、用，使人們能夠全時段的使用，這些數(shù)據(jù)文件都比較巨大，造成數(shù)據(jù)量的成倍增長；三是由于移動智能設(shè)備的普遍使用，數(shù)據(jù)量的增幅就明顯增大了。1.2數(shù)據(jù)種類多。隨著互聯(lián)網(wǎng)推廣，數(shù)據(jù)類型既包括數(shù)據(jù)庫的表類型，還包括未加工的、半結(jié)構(gòu)化的數(shù)據(jù)，例如網(wǎng)頁、視頻、音頻、文檔等。1.3數(shù)據(jù)更新快。對于海量數(shù)據(jù)快速動態(tài)的變化，傳統(tǒng)的系統(tǒng)難以快速處理數(shù)據(jù)的獲取、存儲以及挖掘其中的有效信息。這時就必須對傳統(tǒng)的方法加以改進(jìn)。1.4價值密度低。在沒有索引的數(shù)據(jù)集中提取有用的數(shù)據(jù)，獲取的難度非常大。以視頻為例，在幾十GB的數(shù)據(jù)僅有幾秒鐘是有價值的。2大

5、數(shù)據(jù)時代面臨的挑戰(zhàn)2.1數(shù)據(jù)量增長挑戰(zhàn)數(shù)據(jù)存儲能力。數(shù)據(jù)量的過快增長要求使用專門的數(shù)據(jù)庫技術(shù)和大量的數(shù)據(jù)存儲設(shè)備。傳統(tǒng)的數(shù)據(jù)庫關(guān)注關(guān)系型數(shù)據(jù)，優(yōu)點(diǎn)是數(shù)據(jù)的一致性和容錯性非常好，缺點(diǎn)是在數(shù)據(jù)的擴(kuò)展性方面顯得不足，不能有效存儲文檔、音視頻等非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。目前，數(shù)據(jù)存儲能力的增長遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長，設(shè)計(jì)最合理的分層存儲架構(gòu)成為解決數(shù)據(jù)存儲的關(guān)鍵。2.26數(shù)據(jù)類型繁多挑戰(zhàn)數(shù)據(jù)挖掘能力[3]。數(shù)據(jù)類型的多樣化成為傳統(tǒng)的數(shù)據(jù)挖掘算法的瓶頸。傳統(tǒng)算法需要一次性把數(shù)據(jù)導(dǎo)入內(nèi)存，而太大的文件則做不到。要想改變這種狀況，需要

6、對現(xiàn)有算法、數(shù)據(jù)結(jié)構(gòu)等進(jìn)行改進(jìn)。2.3獲取有用信息的速度挑戰(zhàn)數(shù)據(jù)處理的時效性。隨著數(shù)據(jù)規(guī)模的不斷增大，傳統(tǒng)模式下分析過程的時間相應(yīng)地越來越長，而大數(shù)據(jù)條件下對信息處理的時效性要求越來越高。傳統(tǒng)模式下處理大數(shù)據(jù)時，需要的資源呈指數(shù)增長，現(xiàn)實(shí)中難以接受。簡單有效的人工智能算法和新的問題求解方法成為應(yīng)對速度挑戰(zhàn)的關(guān)鍵。2.4數(shù)據(jù)在邊界外傳播挑戰(zhàn)信息安全。大數(shù)據(jù)在不同的網(wǎng)絡(luò)之間傳播，一些敏感數(shù)據(jù)、隱私數(shù)據(jù)成倍增長，信息安全問題應(yīng)運(yùn)而生，對國家安全和個人的利益造成了嚴(yán)重的影響。如今，犯罪分子更容易通過網(wǎng)絡(luò)犯罪，而防范卻很難。在應(yīng)

7、對這些問題的時候，需要有數(shù)據(jù)存儲的安全措施，以及對數(shù)據(jù)訪問的身份認(rèn)證機(jī)制。2.56大數(shù)據(jù)時代需要人才資源。人才資源不足會成為大數(shù)據(jù)發(fā)展的一個阻力。從大數(shù)據(jù)中獲取價值需要有三類人才隊(duì)伍：一是數(shù)據(jù)庫底層設(shè)計(jì)方面的人才；二是掌握基礎(chǔ)算法，并對數(shù)據(jù)進(jìn)行分析方面的人才；三是實(shí)現(xiàn)應(yīng)用領(lǐng)域的人才，能夠?qū)δ愁悜?yīng)用做統(tǒng)計(jì)并預(yù)測趨勢。此外，大數(shù)據(jù)由于覆蓋面比較廣，這些人才需要有綜合的能力。他們需要了解行業(yè)，了解技術(shù)的各個層面，以綜合的視角制定確實(shí)可行的方案為目的，還必須具有統(tǒng)計(jì)學(xué)背景，并對數(shù)據(jù)管理有豐富經(jīng)驗(yàn)；另一方面，大數(shù)據(jù)方案的實(shí)現(xiàn)，必

8、須由技術(shù)專家來完成，技術(shù)專家的能力也直接決定了大數(shù)據(jù)方案的深度和廣度。3大數(shù)據(jù)時代的應(yīng)對策略應(yīng)對大數(shù)據(jù)管理可以從數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)安全的角度入手。3.1存儲管理應(yīng)對策略。（1）數(shù)據(jù)分類。大數(shù)據(jù)既包含傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)（如日常業(yè)務(wù)數(shù)據(jù)等），又包含非結(jié)構(gòu)化數(shù)據(jù)，而且非結(jié)構(gòu)化數(shù)據(jù)占有更高比重。非結(jié)構(gòu)化數(shù)據(jù)包含了各種視頻數(shù)據(jù)、相關(guān)業(yè)務(wù)