機票實時數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)

《機票實時數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、碩士學位論文(工程碩士)機票實時數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)DESIGNANDIMPLEMENTATIONOFREAL-TIMEDATAPROCESSINGSYSTEMFORTICKETS董云龍哈爾濱工業(yè)大學2016年6月國內(nèi)圖書分類號：TP311學校代碼：10213國際圖書分類號：621.3密級：公開工程碩士學位論文機票實時數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)碩士研究生：董云龍導師：徐志明教授副導師：李松林高級工程師申請學位：工程碩士學科：軟件工程所在單位：軟件學院答辯日期：2016年6月ClassifiedIn

2、dex:TP311U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFREAL-TIMEDATAPROCESSINGSYSTEMFORTICKETSCandidate：DongYunlongSupervisor：ProfessorXuZhimingAssociateSupervisor:SeniorEngineerLiSonglinAcademicDegreeAppliedfor：Mastero

3、fEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2016哈爾濱工業(yè)大學工程碩士學位論文摘要本論文的主題是機票實時數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)，來源于公司大數(shù)據(jù)部的實際業(yè)務需求。該公司業(yè)務核心是訂購機票服務，線上機票訂購系統(tǒng)每天都會產(chǎn)生大量的交易數(shù)據(jù)，存儲在MySQL和日志文件中。由于分庫分表策略，機票交易數(shù)據(jù)分布在3500多個MySQL數(shù)據(jù)庫中，涉及近五萬張表。本系統(tǒng)對大量的

4、機票數(shù)據(jù)進行實時的處理和展示，以滿足運營以及決策人員的數(shù)據(jù)查詢需求。本系統(tǒng)分為四部分，分別為數(shù)據(jù)實時同步，數(shù)據(jù)處理，數(shù)據(jù)存儲以及數(shù)據(jù)展示。為了保證數(shù)據(jù)采集的實時性，本系統(tǒng)使用Canal（基于MySQLBinlog的實時同步開源項目）來完成MySQL數(shù)據(jù)庫的實時數(shù)據(jù)同步功能。數(shù)據(jù)處理部分根據(jù)存儲和展示方式的不同，分為ElasticSearch（實時全文檢索引擎）處理程序，同構(gòu)數(shù)據(jù)處理程序，Storm(分布式流數(shù)據(jù)實時框架)實時處理程序三部分。ElasticSearch處理程序用于根據(jù)業(yè)務規(guī)則整合機票信

5、息，將所有信息放入一張表，存儲到ElasticSearch中，用于大數(shù)據(jù)量的任意字段的實時查詢。同構(gòu)數(shù)據(jù)處理部分根據(jù)分庫分表策略，將不同數(shù)據(jù)庫相同表名中的信息整合到同一張表中。全量數(shù)據(jù)存儲在HBase中，用于指定字段的實時查詢，不支持任意字段的實時查詢。同時，兩天內(nèi)的數(shù)據(jù)會存儲到MySQL，完成郵件報表等功能。Storm實時數(shù)據(jù)處理部分則實現(xiàn)了機票交易信息的實時看板功能，利用Storm的實時計算能力，對線上交易數(shù)據(jù)進行統(tǒng)計，通過折線圖，表格等方式實時地進行結(jié)果展示。在本系統(tǒng)之前，公司采用基于Hive

6、的離線分析系統(tǒng)，在時效性上具有較大的延遲。對時間要求較高的需求則直接查詢線上數(shù)據(jù)庫，必須額外的邏輯來處理復雜的數(shù)據(jù)庫問題。本系統(tǒng)統(tǒng)一了所有的數(shù)據(jù)來源，整合之后存入唯一的數(shù)據(jù)倉庫，提供實時的數(shù)據(jù)查詢和分析，能夠保證數(shù)據(jù)的準確性，實時性以及穩(wěn)定性，在每秒200條數(shù)據(jù)的情況下，保證秒級的延遲，并且穩(wěn)定地運行一個月以上。關(guān)鍵詞：大數(shù)據(jù)；分布式文件系統(tǒng)；實時查詢；實時計算-I-哈爾濱工業(yè)大學工程碩士學位論文AbstractThemeofthispaperisthedesignandimplementation

7、ofreal-timedataprocessingsystemofticketswhichoriginatesfromthecompany'sactualneedsofbigdatadepartment.Thecompany'scorebusinessisserviceorderingplanetickets.Onlineticketorderingsystemwillgeneratealotoftradingdataeveryday,andstoreddataintheMySQLandlogfil

8、es.Sincethesub-libraryandsub-tablestrategy,tickettransactionsinmorethan3500MySQLdatabasesinvolvenearlyfiftythousandtables.Inordertomeettheneedsofoperatorsanddecision-makers,alargenumberofdatahavebeenprocessedanddisplayedinrealtimebythes