資源描述:
《Sina網(wǎng)絡(luò)的內(nèi)存數(shù)據(jù)存儲(chǔ)ppt課件.ppt》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、內(nèi)存數(shù)據(jù)存儲(chǔ)@sina難以預(yù)測(cè)得熱點(diǎn)!更難以預(yù)測(cè)得熱點(diǎn)...RDBMSQueueCacheNoSQL…我們?cè)谧鍪裁??Web目錄?????內(nèi)存存儲(chǔ)重要性內(nèi)存存儲(chǔ)規(guī)模介紹Memcache應(yīng)用實(shí)踐Redis應(yīng)用實(shí)踐未來(lái)計(jì)劃內(nèi)存存儲(chǔ)重要性e.g.微博內(nèi)容??MultiGet(3590157841987041,3319873918468286,…)SQL:SELECT*FROMcontentWHEREmidIN(3417982485336166,3319873918468286,…)內(nèi)存存儲(chǔ)重要性內(nèi)存存儲(chǔ)重要性請(qǐng)求分布M
2、emcache6160億+Get/day760億+Set/day15TB+Memoryin5IDC500+Servers,1500+instances規(guī)模Redis3675億+commands/day6500億+Read/day757億+Set/day18TB+Memoryin6IDC500+Servers,3000+instances1,500,000,000,000占結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)得99%2012Q22012Q42013Q22013Q42014Q2FutureRAM48G64G96G128G128G?CPU
3、Intel(R)Xeon(R)CPUE5620@2.40GHz*8Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12Intel(R)Xeon(R)CPUE5620@2.40GHz*8Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12Intel(R)Xeon(R)CPUE5-26200@2.00GHz*12?DiskSAS300G*2RAID10SAS300G*2RAID10SAS300G*4RAID5SAS300G*4RAID5SAS300G*4Raid5+SSD
4、*4RAID5?NET千兆千兆千兆千兆千兆?硬件演化硬件演化4590135180RAMCPUSASNETSSDMemcache應(yīng)用實(shí)踐一致性Hash應(yīng)用得局限性???Multiget-hole命中率震蕩無(wú)法應(yīng)對(duì)超級(jí)熱點(diǎn)????Memcache應(yīng)用實(shí)踐易擴(kuò)展高可用解決超級(jí)熱點(diǎn)易維護(hù)多層級(jí)Memcache架構(gòu)L1Layer???容量較小解決超級(jí)熱點(diǎn)易擴(kuò)展StorageLayer???容量較大決定整體緩存層命中率Master-Backup保證高可用多層級(jí)Memcache架構(gòu)可擴(kuò)展性??Get&PlantSet多層級(jí)M
5、emcache架構(gòu)高可用性多層級(jí)Memcache架構(gòu)#周?一?見(jiàn)#!應(yīng)對(duì)超級(jí)熱點(diǎn)(e.g.)#周?一?見(jiàn)#!#周?一?見(jiàn)#?。V?一?見(jiàn)#?。V?一?見(jiàn)#!進(jìn)階緩存服務(wù)化???配置中心CacheService(basetwemproxy)HA異地緩存更新What’sMore?存儲(chǔ)與緩存一致性問(wèn)題?!存儲(chǔ)層寫入太慢?!一個(gè)星期還沒(méi)上線?!RedisHelps!Redis應(yīng)用場(chǎng)景計(jì)數(shù)特點(diǎn)???數(shù)據(jù)很小熱點(diǎn)更新需要持久化!改造Redis后????更高SLATCO得節(jié)省再不用擔(dān)心緩存宕機(jī)KISSRedis應(yīng)用場(chǎng)景反向c
6、acheRedis應(yīng)用場(chǎng)景在一些場(chǎng)景替代Memcache???更豐富得數(shù)據(jù)結(jié)構(gòu)更好的內(nèi)存管理靈活數(shù)據(jù)遷移等特性???Redis應(yīng)用場(chǎng)景Top列表(sortedset)關(guān)系列表(hashset)隊(duì)列(list)……Redis?高可?用性??????Redis改造優(yōu)化Replication改造動(dòng)態(tài)升級(jí)內(nèi)存使用優(yōu)化(Rediscouter)LuaScript優(yōu)化(C固化)新的數(shù)據(jù)結(jié)構(gòu)(LongSet)歷史數(shù)據(jù)分層至SSD(CounterService)為什么一直是Redis?未來(lái)計(jì)劃???基于Flash降低TCO一體
7、化存儲(chǔ)深入網(wǎng)絡(luò)優(yōu)化