基于改進(jìn)貝葉斯網(wǎng)絡(luò)的氣象數(shù)據(jù)預(yù)測(cè)算法研究

《基于改進(jìn)貝葉斯網(wǎng)絡(luò)的氣象數(shù)據(jù)預(yù)測(cè)算法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、基于改進(jìn)貝葉斯網(wǎng)絡(luò)的氣象數(shù)據(jù)預(yù)測(cè)算法研究第一章緒論1.1研究背景和意義隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們的生活變得越來(lái)越豐富多彩，同時(shí)各行各業(yè)也產(chǎn)生了大量的數(shù)據(jù)[1]。據(jù)相關(guān)報(bào)道顯示，2012年我國(guó)各類數(shù)據(jù)中心總量已達(dá)43萬(wàn)個(gè)，面積約88萬(wàn)平米，未來(lái)五年，數(shù)據(jù)中心機(jī)房面積再翻一番才能達(dá)到新增數(shù)據(jù)的需求[2]。這些海量的數(shù)據(jù)背后蘊(yùn)含著豐富的知識(shí)和規(guī)律，如果我們能把這些有用的信息挖掘出來(lái)，那將對(duì)我們未來(lái)的生活產(chǎn)生很大的幫助。尤其在氣象領(lǐng)域這種幫助將更加明顯，長(zhǎng)期以來(lái)，氣象預(yù)測(cè)在人們的生產(chǎn)生活中都占據(jù)著非常重要的位置，大到飛機(jī)起飛、火箭發(fā)射，小到種植計(jì)劃、穿衣出行，氣象預(yù)測(cè)深

2、刻影響著我國(guó)的科研領(lǐng)域、經(jīng)濟(jì)建設(shè)和人民生活，所以對(duì)氣象預(yù)測(cè)的研究一直都是專家和學(xué)者們關(guān)注的焦點(diǎn)。近年來(lái)，氣象事業(yè)的現(xiàn)代化水平和現(xiàn)代氣象業(yè)務(wù)體系在不斷提高和完善，隨之而產(chǎn)生的數(shù)據(jù)量也越來(lái)越大。據(jù)統(tǒng)計(jì)，氣象中心每天的新增數(shù)據(jù)就以GB為單位，累積的氣象數(shù)據(jù)更是達(dá)到了PB級(jí)（1PB=1024TB，1TB=1024GB[3]），并且包含了地面、衛(wèi)星觀測(cè)和數(shù)值預(yù)報(bào)等各種類型的觀測(cè)數(shù)據(jù)。盡管數(shù)據(jù)的增長(zhǎng)十分迅速，但我們處理數(shù)據(jù)的技術(shù)卻發(fā)展的相對(duì)滯后，傳統(tǒng)的數(shù)據(jù)預(yù)測(cè)方法在面對(duì)這些海量數(shù)據(jù)時(shí)，處理和計(jì)算都遇到了很大的障礙?，F(xiàn)在的氣象預(yù)測(cè)較以前雖然準(zhǔn)確率有所提高，效率方面也取得了一定的進(jìn)步，但還

3、是停留在滿足人們?nèi)粘Ｉa(chǎn)生活的水平上。在災(zāi)難性氣候（旱災(zāi)、洪澇）的預(yù)測(cè)方面，我們離需求還是有一定差距的，在這方面我們依舊任重而道遠(yuǎn)。比如2012年底，新疆持續(xù)大雪，導(dǎo)致8600余人受災(zāi)，1500余人緊急轉(zhuǎn)移安置，200余間房屋倒損，直接經(jīng)濟(jì)損失800余萬(wàn)元；再比如2013年5月7日下午，長(zhǎng)沙突降暴雨，積水超過(guò)30厘米，寧鄉(xiāng)縣發(fā)生山體滑坡，造成至少3人死亡[4]。由此我們可以知道，如何有效的利用這些海量氣象數(shù)據(jù)，發(fā)現(xiàn)其中蘊(yùn)藏的氣象規(guī)律，從而對(duì)天氣進(jìn)行預(yù)測(cè)并指導(dǎo)我們的日常生產(chǎn)生活已經(jīng)成為一個(gè)亟待解決的問(wèn)題，被越來(lái)越多的專家和學(xué)者所重視。.......1.2國(guó)內(nèi)外研究動(dòng)態(tài)氣象數(shù)據(jù)

4、的處理方法有很多種，如客觀分析技術(shù)[7]、最優(yōu)插值技術(shù)[8]、Kalman[9]、逐步訂正法[10]等，其中廣泛被人們所認(rèn)可的效率最高的方法是數(shù)據(jù)挖掘。氣象數(shù)據(jù)預(yù)測(cè)是數(shù)據(jù)挖掘(Datamining)[11]的一種表現(xiàn)形式,其是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)中的一個(gè)步驟，通常情況下是指從海量的數(shù)據(jù)中發(fā)現(xiàn)那些隱含在其中的特殊的規(guī)律和知識(shí)的過(guò)程。國(guó)內(nèi)外對(duì)氣象數(shù)據(jù)預(yù)測(cè)都非常重視并進(jìn)行了大量的研究。氣象數(shù)據(jù)預(yù)測(cè)方面的研究，國(guó)外很早就開(kāi)始了，而且所使用的方法非常繁雜，如貝葉斯方法[12]、人工神經(jīng)網(wǎng)絡(luò)方法[13]、決策樹(shù)方法[14]以及粗糙集方法[15]等。他們?nèi)〉玫某删鸵埠芏?，本文做了一些總結(jié)如下：

5、AsanobuKitamoto主要是把PCA方法應(yīng)用到臺(tái)風(fēng)的圖像采集中[16]。EstevamR.HmschkaJr等通過(guò)對(duì)貝葉斯網(wǎng)絡(luò)數(shù)據(jù)預(yù)測(cè)算法的研究，證實(shí)了此種算法對(duì)數(shù)據(jù)缺失的數(shù)據(jù)集具有比較好的包容性，并且具有速度快、正確率高的特點(diǎn)[17]。AuroopR.Ganguly等人[18]對(duì)全球的氣象數(shù)據(jù)進(jìn)行挖掘，雖然計(jì)算量非常巨大，要考慮的因素也非常多，但這種思路可以為以后人為改造環(huán)境提供借鑒。TugayBilginT等采用聚類分析的方法，對(duì)氣象站的溫度數(shù)據(jù)進(jìn)行研究，根據(jù)研究結(jié)果重新劃分了土耳其的氣象區(qū)域[19]。國(guó)內(nèi)關(guān)于氣象數(shù)據(jù)預(yù)測(cè)的研究起步要晚于國(guó)外，但由于氣象問(wèn)題的重

6、要性，學(xué)者們花了很多時(shí)間和精力對(duì)其進(jìn)行研究，研究成果也有重要的指導(dǎo)意義[20]。哈爾濱工程大學(xué)的陳寶學(xué)等人從理論上證明了以數(shù)理統(tǒng)計(jì)為基礎(chǔ)的數(shù)據(jù)挖掘方法可以用于天氣預(yù)報(bào)中[21]；西安電子科技大學(xué)的左愛(ài)文在畢業(yè)論文中，分別把一種時(shí)間關(guān)聯(lián)規(guī)則算法和一種空間關(guān)聯(lián)規(guī)則算法運(yùn)用到氣象數(shù)據(jù)預(yù)測(cè)中，并用實(shí)驗(yàn)驗(yàn)證了算法的有效性和可行性..........第二章Hadoop相關(guān)技術(shù)概述Hadoop起源于開(kāi)源的網(wǎng)絡(luò)搜索引擎ApacheNutch，它從另一個(gè)角度出發(fā)，以一種全新的思路來(lái)考慮對(duì)海量數(shù)據(jù)的處理。Hadoop是一種分布式存儲(chǔ)和計(jì)算系統(tǒng)，它可以用集群廉價(jià)的硬件資源來(lái)彌補(bǔ)單機(jī)代價(jià)巨大的性能

7、提升，具有很強(qiáng)的運(yùn)算和存儲(chǔ)能力。Hadoop以可靠、高效、可伸縮的方式對(duì)海量數(shù)據(jù)進(jìn)行分布式處理，得到了越來(lái)越多專家和學(xué)者的重視和青睞。2.1Hadoop概述Hadoop[35]是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，其創(chuàng)建的目的就是為了構(gòu)建一個(gè)有很強(qiáng)可靠性和擴(kuò)展性的分布式系統(tǒng)。2008年4月，Hadoop已經(jīng)成為當(dāng)時(shí)世界上最快的數(shù)據(jù)排序系統(tǒng)。也就是從這時(shí)開(kāi)始，Hadoop一躍成為企業(yè)主流的部署系統(tǒng)，是公認(rèn)的大數(shù)據(jù)通用存儲(chǔ)和分析平臺(tái)[36]。Hadoop的出現(xiàn)，為海量數(shù)據(jù)的存儲(chǔ)、查詢、篩選、挖掘提供了一個(gè)全新的模式，它對(duì)硬件設(shè)備的