hbase在阿里搜索中的應(yīng)用實(shí)踐

《hbase在阿里搜索中的應(yīng)用實(shí)踐》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、HBase在阿里搜索中的應(yīng)用實(shí)踐HBdsc作為淘寶全網(wǎng)索引枸建以及在線(xiàn)機(jī)器學(xué)習(xí)平臺(tái)的核心存儲(chǔ)系統(tǒng)，是阿卑搜索基礎(chǔ)架構(gòu)的靈耍紐成部分。木文我們將介紹HBase在阿里揑索的歷史、規(guī)模.應(yīng)用的場(chǎng)景以及在實(shí)際應(yīng)用當(dāng)屮遇到的問(wèn)題和優(yōu)化。作者：李飪來(lái)源：51CFOI2017-05-2208:05收藏分享[5ICTO.com原創(chuàng)稿件】李飪，花名絕頂，WOTA全球架構(gòu)與運(yùn)維技術(shù)峰會(huì)分宇谿賓，現(xiàn)任阿里巴巴搜索事業(yè)部高級(jí)技術(shù)專(zhuān)家，HBase開(kāi)源社區(qū)PMC&cornmiller。開(kāi)源技術(shù)愛(ài)好者，主要關(guān)注分布式系統(tǒng)設(shè)計(jì)

2、、大數(shù)據(jù)基礎(chǔ)平臺(tái)建設(shè)等領(lǐng)域。連續(xù)3年基于HBase/HDHS設(shè)計(jì)和開(kāi)發(fā)存儲(chǔ)系統(tǒng)應(yīng)對(duì)雙十一訪(fǎng)問(wèn)壓力,具備卞富的大規(guī)模集群生產(chǎn)實(shí)戰(zhàn)經(jīng)驗(yàn)。HBase作為淘寶全網(wǎng)索引構(gòu)建以及在線(xiàn)機(jī)器學(xué)習(xí)平臺(tái)的核心存儲(chǔ)系統(tǒng)，是阿里搜索基礎(chǔ)架構(gòu)的重要組成部分。木文我們將介紹HBase在阿里搜索的歷史、規(guī)模，應(yīng)用的場(chǎng)景以及在實(shí)際應(yīng)用當(dāng)中遇到的問(wèn)題和優(yōu)化，HBase在阿里搜索的歷史、規(guī)模和服務(wù)能力歷史：阿里搜索于2010年開(kāi)始使用HBuse,從最早到II前已經(jīng)有十余個(gè)版本。H前使用的版本是在社區(qū)版本的基礎(chǔ)上經(jīng)過(guò)人杲優(yōu)化而成。社

3、區(qū)版本建議不要使用1.1.2版本，有較嚴(yán)重的性能問(wèn)題，I」.3以后的版本體驗(yàn)會(huì)好很餅。集群規(guī)模：目前，僅在阿里搜索節(jié)點(diǎn)數(shù)就超過(guò)3(X)0個(gè)，故大集群超過(guò)1500個(gè)。阿里集團(tuán)節(jié)點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)超過(guò)這個(gè)數(shù)量。服務(wù)能力：去年雙十一，阿里搜索離線(xiàn)集群的吞吐峰值一秒鐘訪(fǎng)問(wèn)超過(guò)4000萬(wàn)次，單機(jī)一秒鐘吞吐峰值達(dá)到10萬(wàn)次。還右在CPU使用最超過(guò)70%的情況下，單cpucore還可支檸8000+QPS.HBase在阿里搜索的角色和主要應(yīng)用場(chǎng)景角色：HBaseM阿里搜索的核心存儲(chǔ)系統(tǒng)，它和計(jì)算引擎緊密結(jié)合，主要服務(wù)搜索

4、和推薦的業(yè)務(wù)。WilSioreWWSOwfceHBase在搜索和推薦的應(yīng)用流程如上圖，是HBase在搜索和推薦的應(yīng)用流程。在索引構(gòu)建流程中會(huì)從線(xiàn)上MySQL等數(shù)據(jù)庫(kù)中存儲(chǔ)的商品和用戶(hù)產(chǎn)生的所有線(xiàn)上數(shù)據(jù)逋過(guò)流式的方式導(dǎo)入到HBaes'P，并提供給搜索引擎構(gòu)建索引。在推薦流程中，機(jī)器學(xué)習(xí)平臺(tái)Porshe會(huì)將模型和特征數(shù)據(jù)存儲(chǔ)在HBase里，并將川戶(hù)點(diǎn)擊數(shù)據(jù)實(shí)時(shí)的存入HBase,通過(guò)在經(jīng)training更新模型,提高線(xiàn)上推薦的準(zhǔn)確度和效果。應(yīng)用場(chǎng)景一：索引構(gòu)建。淘寶和天貓有各種各樣的的線(xiàn)上數(shù)據(jù)源，這取

5、決于淘寶有非常多不同的線(xiàn)上店鋪和備種用戶(hù)訪(fǎng)問(wèn)。?DataStorageforatchandStreamingProcess!ngDataSourceSearchEnginesAfeOOPSMySQLBatch&StreamingEventOffline&RealTimeProcessingExportingHBaseHBaseHBase■ISiB)&■■1■1■:■q■1■■1121r■1■■Ml■1■?■■■索引構(gòu)建應(yīng)用場(chǎng)景如上圖，在夜間我們會(huì)將數(shù)據(jù)從HBase批疑導(dǎo)出，供給搜索引擎來(lái)構(gòu)建全雖

6、索引。而在白夭，線(xiàn)上商品、用戶(hù)信息等都在不停的變化，這些動(dòng)態(tài)的變化數(shù)據(jù)也會(huì)從線(xiàn)匕存儲(chǔ)實(shí)時(shí)的更新到HBase并觸發(fā)增雖索引構(gòu)建，進(jìn)而保證搜索結(jié)果的實(shí)時(shí)性。冃前，可以做到端到端的延時(shí)控制在秒級(jí)，即庫(kù)存變化，產(chǎn)品上架等信息在服務(wù)端更新后，迅速的可在用戶(hù)終端搜索到。?ContinuousUpdatedMaterializedViewonHBaseDataBatchContinuousUpdatedResultStreamingDataUserDefinedProcessingDAG:Mttarlailt

7、edView索引構(gòu)建應(yīng)用場(chǎng)景抽象圖如上圖，整個(gè)索引構(gòu)建過(guò)程可以抽象成一個(gè)持續(xù)更新的流程。如把全雖和増雖看做是一個(gè)Join,線(xiàn)上有不同的數(shù)據(jù)源H實(shí)時(shí)處于更新?tīng)顟B(tài)，整個(gè)過(guò)程是長(zhǎng)期持續(xù)的過(guò)程。這里，就凸顯出HBase和流式計(jì)算引擎相結(jié)合的特點(diǎn)。應(yīng)用場(chǎng)景二：機(jī)器學(xué)習(xí)。這里舉一個(gè)簡(jiǎn)單的機(jī)器學(xué)習(xí)示例：用戶(hù)想買(mǎi)一款三千元的手機(jī)，于是在淘寶按照三千元的條件篩選下來(lái)，但是沒(méi)有中意的。之后，用戶(hù)會(huì)從頭搜索，這時(shí)就會(huì)利用機(jī)器學(xué)習(xí)模型把三千塊錢(qián)左右的手機(jī)排在搜索結(jié)果的靠前位置，也就是用前一個(gè)搜索結(jié)果來(lái)影響后一個(gè)搜索結(jié)果

8、的排序。?DatabaseandqueueserviceforMLFlinkProcessingoverYarnMachineLearningModelsIDFParsingLo?■■HQueucVOFVAxirresateUpdatesExportModelUpdateOnlineOnlineSystea分析線(xiàn)上日志如上圖，分析線(xiàn)上日志，歸結(jié)為商品和用戶(hù)兩個(gè)緯度，導(dǎo)入分布式、持久化消息隊(duì)列，存放到HBase上。隨線(xiàn)上用戶(hù)的點(diǎn)擊行為日志來(lái)產(chǎn)生數(shù)據(jù)更新，對(duì)應(yīng)模型隨之更新，進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練，這是一個(gè)