基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)

《基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、工程碩士學位論文基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)DESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATION黃煒哈爾濱工業(yè)大學2018年6月國內(nèi)圖書分類號：TP311學校代碼：10213國際圖書分類號：621.3密級：公開工程碩士學位論文基于實時分布式計算的股票預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)碩士研究生：黃煒導師：王宏志教授副導師：徐林彬高級工程師申請學位：工程碩士學科：軟件工程所在單位：軟件學院答辯日期：201

2、8年6月授予學位單位：哈爾濱工業(yè)大學ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATIONCandidate：HuangWeiSupervisor：ProfessorWangHongzhiAssociateSupervisor：SeniorEnginee

3、rXuLinbinAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈爾濱工業(yè)大學工程碩士學位論文摘要以Flink為代表的流數(shù)據(jù)處理引擎在實時性要求高的應(yīng)用場景被廣泛使用，正在成為繼Hadoop、Spark

4、后的第三代大數(shù)據(jù)處理引擎。隨著信息化時代相關(guān)技術(shù)的發(fā)展，將大數(shù)據(jù)分布式計算、數(shù)據(jù)科學應(yīng)用于經(jīng)濟領(lǐng)域成為研究熱點，股票價格作為國家經(jīng)濟、企業(yè)前景的晴雨表，對于它的預(yù)測一直是熱門話題。然而目前存在的問題是，現(xiàn)在的股票預(yù)測產(chǎn)品大都是無法做到完全的實時性，使得計算結(jié)果的業(yè)務(wù)價值隨著時間的增長而下降，從而使錯過決策的最佳時機。為了解決上述缺陷，作者的論文基于對分布式架構(gòu)以及實時計算的研究，設(shè)計了實時大數(shù)據(jù)場景下的文件入Kafka，靜態(tài)數(shù)據(jù)附加，預(yù)測，入庫四大相關(guān)組件，實現(xiàn)基于實時分布式計算的股票預(yù)測系統(tǒng)，證明了該系統(tǒng)具有穩(wěn)定

5、地對外提供短期預(yù)測的能力。具體地，本文做了以下工作：首先，本文從交易原始數(shù)據(jù)角度出發(fā)，實踐了通過流水線方式處理建立的實時加工處理系統(tǒng)。其次，開發(fā)一套適用于金融領(lǐng)域的高可用序列化組件。接著，提供利用堆外內(nèi)存建立K-V型的數(shù)據(jù)倉庫的方法。然后，使用Flink作為實時計算的框架，通過窗口聚合來獲取單位時間內(nèi)的消息；在短期股票預(yù)測場景中，使用已經(jīng)存在并且實踐效果較好的邏輯回歸算法實現(xiàn)離散值預(yù)測功能，自回歸-移動平均模型實現(xiàn)連續(xù)值預(yù)測的功能。最后，在該系統(tǒng)之上，總結(jié)出通用的測量流水線上系統(tǒng)的吞吐和時延的方案，并總結(jié)出基于JV

6、M程序性能調(diào)優(yōu)的方案。在測試方面，從分布式架構(gòu)給出測試用例，除了保證功能性測試通過之外，還將系統(tǒng)置于異常場景下測試，確保系統(tǒng)高可用方案的可行性，保證了系統(tǒng)一定程度上的容錯性，同時，使用科學的方法精確地測量并優(yōu)化了系統(tǒng)的時延和吞吐。本系統(tǒng)在實際的測試過程中，對于短期投資者量化投資場景給出了解決方案，為投資者下一步?jīng)Q策提供數(shù)據(jù)支持；對于證券交易市場監(jiān)察部門提供一種從股價分析制定告警規(guī)則的方法；同時為自動化交易平臺提供實時交易的啟發(fā)式的解決方案。關(guān)鍵詞：Flink；實時預(yù)測；分布式系統(tǒng)；流計算-I-哈爾濱工業(yè)大學工程碩士

7、學位論文AbstractThestreamingcomputationenginerepresentedbyFlink,whichbeusedwidelyinreal-timescenariosandbecomingthethird-generationbigdataprocessingenginefollowingHadoopandSpark.Withthedevelopmentofrelatedtechnologiesintheinformationtimes,bigdatadistributedcomputi

8、nganddatascienceapplyingfortheeconomicfieldwillbecomearesearchhotspot.Asabarometerofthenationaleconomyandbusinessprospects,thestockpricehasalwaysbeenahottopicforforecast.However,th