大數據引領我們走向數據智能化時代課件.ppt

《大數據引領我們走向數據智能化時代課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、大數據大數據引領我們走向數據智能化時代BigData目錄大數據的定義理解相關技術與應用機遇與挑戰(zhàn)大數據的定義理解一什么是大數據Dada大大數據的構成123大數據的定義理解大數據的“4V”特征大數據時代的背景大數據時代的背景21世紀是數據信息大發(fā)展的時代，移動互聯(lián)、社交網絡、電子商務等極大拓展了互聯(lián)網的邊界和應用范圍，各種數據正在迅速膨脹并變大。互聯(lián)網（社交、搜索、電商）、移動互聯(lián)網（微博）、物聯(lián)網（傳感器，智慧地球）、車聯(lián)網、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產生著數據?！按髷祿钡恼Q

2、生：半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創(chuàng)造出了“大數據”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。20世紀90年代，數據倉庫之父的BillInmon就經常提及BigData2011年5月，在“云計算相遇大數據”為主題的EMCWorld2011會議中，EMC拋出了BigData概念BigData名詞由來全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個

3、人晝夜不息的讀5.5年…每天會有2.88萬個小時的視頻上傳到Youtube，足夠一個人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬條消息，假設10秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16年…每天亞馬遜上將產生6.3百萬筆訂單…每個月網民在Facebook上要花費7千億分鐘，被移動互聯(lián)網使用者發(fā)送和接收的數據高達1.3EB…Google上每天需要處理24PB的數據…新的時代，人們從信息的被動接受者變成了主動創(chuàng)造者大數據時代到來TBPBZBEB大量新數據源的出現(xiàn)則導致了非結構化、半結構化數據爆發(fā)式的增長根據IDC監(jiān)測，人

4、類產生的數據量正在呈指數級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量數據量增加數據結構日趨復雜這些由我們創(chuàng)造的信息背后產生的這些數據早已經遠遠超越了目前人力所能處理的范疇大數據時代正在來臨..大數據時代到來大數據的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數據”的顯著特征，或者說，只有具備這些特點的數據，才是大數據。體量Volume多樣性Variety價值密度Value速

5、度Velocity非結構化數據的超大規(guī)模和增長總數據量的80~90%比結構化數據增長快10倍到50倍是傳統(tǒng)數據倉庫的10倍到50倍大數據的異構和多樣性很多不同形式（文本、圖像、視頻、機器數據）無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析數據輸入、處理與丟棄立竿見影而非事后見效大數據的構成大數據=海量數據+復雜類型的數據海量交易數據：企業(yè)內部的經營交易信息主要包括聯(lián)機交易數據和聯(lián)機分析數據，是結構化的、通過關系

6、數據庫進行管理和訪問的靜態(tài)、歷史數據。通過這些數據，我們能了解過去發(fā)生了什么。大數據包括：交易數據和交互數據集在內的所有數據集海量交互數據：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數據構成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數據、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數據、科學信息、電子郵件等等。可以告訴我們未來會發(fā)生什么。海量數據處理：大數據的涌現(xiàn)已經催生出了設計用于數據密集型處理的架構。例如具有開放源碼、在

7、商品硬件群中運行的ApacheHadoop。大數據要解決的問題Volume海量的數據規(guī)模Variety多樣的數據類型ValueVelocity快速的數據流轉巨大的數據價值相關技術與應用二大數據怎么用大數據時代的背景相關技術云計算與大數據大數據領的應用123相關技術相關技術大數據技術將被設計用于在成本可承受（economically）的條件下，通過非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）的數據中提取價值（value），將是IT領域新一代的技術與架構企業(yè)用以分析的數據越全面，

8、分析的結果就越接近于真實。大數據分析意味著企業(yè)能夠從這些新的數據中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合什么是BigData技術分析技術：數據處理：自然語言處理技術統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析數據挖掘