大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理

《大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理作者劉慶發(fā)布于2011年10月24日處理大數(shù)據(jù)慣常是屬于商業(yè)智能（BI）的事情。抽取數(shù)據(jù)、挖掘數(shù)據(jù)，制成報(bào)表、OLAP、儀表盤、挖掘模型，作為輔助決策之用。不過在BI領(lǐng)域都不這么叫法，大伙兒都說海量數(shù)據(jù)，Large-scaleData。這聽起來還是略顯學(xué)術(shù)氣，不如BigData來的通俗——大數(shù)據(jù)。這大概是因?yàn)槿缃耠S處可見的數(shù)據(jù)，一種爆炸效應(yīng)帶來的結(jié)果，已經(jīng)脫離某種專業(yè)的范疇，人們需要用更簡單的術(shù)語來命名這種數(shù)據(jù)爆炸。這給不溫不火的BI帶來一些新的刺激，讓BI人看到一些希望。以前，不說國內(nèi)，就算是國外，做BI也大多是局限在幾個(gè)大行當(dāng)，電信、金融、零售、政府，他們需

2、要數(shù)據(jù)來幫助自己理性決策。在國內(nèi)很長一段時(shí)間里，更是僅限于電信和金融兩個(gè)行當(dāng)?？墒菍擂蔚牡胤皆谟冢瑳Q策者有時(shí)候更愿意相信自己的直覺，而非數(shù)據(jù)。這種意識(shí)雖然逐漸在變化，可從來沒有發(fā)生過根本的變化。意識(shí)的變化是艱難的。當(dāng)一些新興行業(yè)的介入，他們對(duì)數(shù)據(jù)的利用方式，價(jià)值的榨取，讓人看到數(shù)據(jù)分析不僅僅用于輔助決策，而是可以從數(shù)據(jù)中獲得收益了，它已經(jīng)不再是一種錦上添花的東西了，那正是因?yàn)榇髷?shù)據(jù)時(shí)代的到來。這得感謝互聯(lián)網(wǎng)以及還未興起的物聯(lián)網(wǎng)，在這些行當(dāng)里面，數(shù)據(jù)在爆發(fā)，不斷增長。他們不甘心只是如報(bào)表、OLAP、儀表盤之類的分析應(yīng)用。數(shù)據(jù)分析部門可以按照推薦系統(tǒng)的點(diǎn)擊效果利潤分成；交易的數(shù)據(jù)可以包

3、裝成分析服務(wù)銷售給商戶，讓他們自己去洞察市場商機(jī)；根據(jù)用戶的點(diǎn)擊流行為和上網(wǎng)內(nèi)容，個(gè)性化廣告布放等等。就在剛過去的9月，TDWI（數(shù)據(jù)倉庫學(xué)院）發(fā)布了2011年第四季度最佳實(shí)踐報(bào)告，而這份最佳實(shí)踐的主題正是大數(shù)據(jù)分析。TDWI會(huì)通過調(diào)查問卷的方式，對(duì)全球范圍的企業(yè)調(diào)查，目標(biāo)對(duì)象既有IT人，有業(yè)務(wù)單位的人，也有咨詢顧問。問卷的問題一般都會(huì)詢問企業(yè)應(yīng)用BI技術(shù)的實(shí)際情況，現(xiàn)在如何，計(jì)劃如何。所以，這類最佳實(shí)踐報(bào)告可以反映出當(dāng)下某項(xiàng)技術(shù)的現(xiàn)狀和趨勢(shì)。報(bào)告的內(nèi)容也遵循一定結(jié)構(gòu)，一下定義，二看現(xiàn)狀，三分長短，四談趨勢(shì)，最后再來個(gè)廠商介紹。同樣，這份大數(shù)據(jù)分析的最佳實(shí)踐報(bào)告也是如此結(jié)構(gòu)。其中關(guān)

4、于“大數(shù)據(jù)”的定義，值得關(guān)注。如果我們僅僅從字面上看，大數(shù)據(jù)似乎跟海量數(shù)據(jù)差別不大，僅僅是變得更加通俗？并非如此，這份報(bào)告給出一些區(qū)別，TDWI賦予這個(gè)術(shù)語更多的含義，更多符合目前數(shù)據(jù)爆炸時(shí)代的含義。大數(shù)據(jù)的3VBigData的3V。大數(shù)據(jù)有3V的特性。Volume、Variety、Velocity。這3V表明大數(shù)據(jù)的三方面特質(zhì)：量大、多樣、實(shí)時(shí)。對(duì)，不光是數(shù)據(jù)量大了。對(duì)TB、PB數(shù)據(jù)級(jí)的處理，已經(jīng)成為基本配置。還能處理多樣性的數(shù)據(jù)類型，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，能處理Web數(shù)據(jù)，能處理語音數(shù)據(jù)甚至是圖像、視頻數(shù)據(jù)。實(shí)時(shí)。以前的決策支持時(shí)代，可以用批量處理的方式，隔夜處理數(shù)據(jù)，等決

5、策者第二天上班，可以看到昨天的經(jīng)營數(shù)據(jù)。但現(xiàn)在的互聯(lián)網(wǎng)時(shí)運(yùn)營，決策已經(jīng)不是第二天上班才做出，而是在客戶每次瀏覽頁面，每次下訂單的過程中都存在，都會(huì)需要對(duì)用戶進(jìn)行實(shí)時(shí)的推薦，決策已經(jīng)變得實(shí)時(shí)。這個(gè)定義非常完美，形式上也很漂亮，3個(gè)V?？杉?xì)細(xì)想想，這每個(gè)方面的V，難道不是傳統(tǒng)BI一直在試圖征服的嘛？也許所謂大數(shù)據(jù)時(shí)代，是新瓶裝舊酒。只是換了一個(gè)稱呼，而具體要解決的問題，仍是那些存在已久的問題?？僧吘勾髷?shù)據(jù)時(shí)代轟轟烈烈地，踏著舊的海量數(shù)據(jù)浪潮而來，而且這將是更高一浪。平常人站在下面，是否會(huì)腿腳發(fā)軟，或是識(shí)破浪頭的力度，來個(gè)漂亮的轉(zhuǎn)身沖浪呢？大數(shù)據(jù)管理的需求與挑戰(zhàn)在這樣的大數(shù)據(jù)時(shí)代，數(shù)據(jù)仍

6、然是最關(guān)鍵的。如何將大數(shù)據(jù)管理好，仍然是對(duì)企業(yè)的考驗(yàn)。無處不數(shù)據(jù)。手機(jī)通話、移動(dòng)在產(chǎn)生數(shù)據(jù)，ATM在產(chǎn)生數(shù)據(jù)，商品上的RFID在產(chǎn)生數(shù)據(jù)，包裹從一個(gè)城市到另一個(gè)城市在產(chǎn)生數(shù)據(jù)。就算是一個(gè)小小的店鋪，當(dāng)它銷售出去一瓶水，也可能會(huì)記錄到Excel里面，產(chǎn)生了數(shù)據(jù)。數(shù)據(jù)記錄這世界的存在和變化。當(dāng)企業(yè)的某項(xiàng)資產(chǎn)非常重要，數(shù)量巨大時(shí)，就需要有效管理。如今，數(shù)據(jù)已經(jīng)成為這種資產(chǎn)。以前人們還不會(huì)將它看做是資產(chǎn)，而是一種附屬物?？蛻魜磙k理業(yè)務(wù)，在系統(tǒng)中產(chǎn)生了這種附屬物。而現(xiàn)在，發(fā)現(xiàn)在客戶辦理業(yè)務(wù)這條信息中，蘊(yùn)含這一些客戶的需求，成千上萬條這類信息累積下來，就能洞察客戶所需，為設(shè)計(jì)新產(chǎn)品，為客戶個(gè)性

7、化營銷產(chǎn)生新的價(jià)值。數(shù)據(jù)變成一種資產(chǎn)了，需要被管理起來。數(shù)據(jù)倉庫是管理數(shù)據(jù)的工具。在近二三十年里，以某種類似蝸牛的速度爬行，它始終還是貴族家的玩具。只有那些多金的買主才會(huì)為它買單。這讓數(shù)據(jù)管理變得高高在上，數(shù)據(jù)當(dāng)做資產(chǎn)只是停留在理念層面。人們還在爭論著，數(shù)據(jù)倉庫能夠給我們帶來什么？我自己曾總結(jié)過一句話，體現(xiàn)數(shù)據(jù)倉庫的六項(xiàng)價(jià)值——“能快速、及時(shí)、方便、準(zhǔn)確而安全地訪問整合過的數(shù)據(jù)?！爆F(xiàn)在看看，發(fā)現(xiàn)這個(gè)描述還蠻符合大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)管理的需求。而這六方面價(jià)值也對(duì)應(yīng)了不同的