資源描述:
《基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、工程碩士學位論文基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)DESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATION黃煒哈爾濱工業(yè)大學2018年6月國內(nèi)圖書分類號:TP311學校代碼:10213國際圖書分類號:621.3密級:公開工程碩士學位論文基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)碩士研究生:黃煒導師:王宏志教授副導師:徐林彬高級工程師申請學位:工程碩士學科:軟件工程所在單位:軟件學院答辯日期:201
2、8年6月授予學位單位:哈爾濱工業(yè)大學ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATIONCandidate:HuangWeiSupervisor:ProfessorWangHongzhiAssociateSupervisor:SeniorEnginee
3、rXuLinbinAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofSoftwareDateofDefence:June,2018Degree-Conferring-Institution:HarbinInstituteofTechnology哈爾濱工業(yè)大學工程碩士學位論文摘要以Flink為代表的流數(shù)據(jù)處理引擎在實時性要求高的應(yīng)用場景被廣泛使用,正在成為繼Hadoop、Spark
4、后的第三代大數(shù)據(jù)處理引擎。隨著信息化時代相關(guān)技術(shù)的發(fā)展,將大數(shù)據(jù)分布式計算、數(shù)據(jù)科學應(yīng)用于經(jīng)濟領(lǐng)域成為研究熱點,股票價格作為國家經(jīng)濟、企業(yè)前景的晴雨表,對于它的預(yù)測一直是熱門話題。然而目前存在的問題是,現(xiàn)在的股票預(yù)測產(chǎn)品大都是無法做到完全的實時性,使得計算結(jié)果的業(yè)務(wù)價值隨著時間的增長而下降,從而使錯過決策的最佳時機。為了解決上述缺陷,作者的論文基于對分布式架構(gòu)以及實時計算的研究,設(shè)計了實時大數(shù)據(jù)場景下的文件入Kafka,靜態(tài)數(shù)據(jù)附加,預(yù)測,入庫四大相關(guān)組件,實現(xiàn)基于實時分布式計算的股票預(yù)測系統(tǒng),證明了該系統(tǒng)具有穩(wěn)定
5、地對外提供短期預(yù)測的能力。具體地,本文做了以下工作:首先,本文從交易原始數(shù)據(jù)角度出發(fā),實踐了通過流水線方式處理建立的實時加工處理系統(tǒng)。其次,開發(fā)一套適用于金融領(lǐng)域的高可用序列化組件。接著,提供利用堆外內(nèi)存建立K-V型的數(shù)據(jù)倉庫的方法。然后,使用Flink作為實時計算的框架,通過窗口聚合來獲取單位時間內(nèi)的消息;在短期股票預(yù)測場景中,使用已經(jīng)存在并且實踐效果較好的邏輯回歸算法實現(xiàn)離散值預(yù)測功能,自回歸-移動平均模型實現(xiàn)連續(xù)值預(yù)測的功能。最后,在該系統(tǒng)之上,總結(jié)出通用的測量流水線上系統(tǒng)的吞吐和時延的方案,并總結(jié)出基于JV
6、M程序性能調(diào)優(yōu)的方案。在測試方面,從分布式架構(gòu)給出測試用例,除了保證功能性測試通過之外,還將系統(tǒng)置于異常場景下測試,確保系統(tǒng)高可用方案的可行性,保證了系統(tǒng)一定程度上的容錯性,同時,使用科學的方法精確地測量并優(yōu)化了系統(tǒng)的時延和吞吐。本系統(tǒng)在實際的測試過程中,對于短期投資者量化投資場景給出了解決方案,為投資者下一步?jīng)Q策提供數(shù)據(jù)支持;對于證券交易市場監(jiān)察部門提供一種從股價分析制定告警規(guī)則的方法;同時為自動化交易平臺提供實時交易的啟發(fā)式的解決方案。關(guān)鍵詞:Flink;實時預(yù)測;分布式系統(tǒng);流計算-I-哈爾濱工業(yè)大學工程碩士
7、學位論文AbstractThestreamingcomputationenginerepresentedbyFlink,whichbeusedwidelyinreal-timescenariosandbecomingthethird-generationbigdataprocessingenginefollowingHadoopandSpark.Withthedevelopmentofrelatedtechnologiesintheinformationtimes,bigdatadistributedcomputi
8、nganddatascienceapplyingfortheeconomicfieldwillbecomearesearchhotspot.Asabarometerofthenationaleconomyandbusinessprospects,thestockpricehasalwaysbeenahottopicforforecast.However,th