云存儲架構(gòu)的發(fā)展ppt課件.ppt

《云存儲架構(gòu)的發(fā)展ppt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、云存儲架構(gòu)的發(fā)展內(nèi)容體驗存儲技術(shù)發(fā)展簡史金山云存儲的技術(shù)路線簡單的存儲系統(tǒng)架構(gòu)討論主要開源方案簡介部分新技術(shù)點的簡介存儲技術(shù)發(fā)展簡史主要階段存儲設(shè)備DAS/SAN/NAS控制器架構(gòu)存儲集群控制器架構(gòu)的基本原理硬盤級別數(shù)據(jù)冗余RAID5/6和LUNRS碼糾錯熱備盤條帶化RAIDRAID6N+2容錯控制器實現(xiàn)復(fù)雜，效率降低，較少使用云存儲集群的基本原理多臺服務(wù)器集群物理設(shè)備級別冗余內(nèi)網(wǎng)修復(fù)金山云存儲技術(shù)路線需求按部署模型區(qū)分公有云存儲私有云存儲混合云存儲按使用場景區(qū)分高性能計算虛擬機平臺（云主機/VDI/etc）Key-Value

2、對象存儲（網(wǎng)盤/Hadoop/etc）冷數(shù)據(jù)（備份/視頻監(jiān)控/etc）其他需求按分布模型分集中式異地容災(zāi)式有主控分布式對等分布式需求維度功能性能可靠性價格發(fā)展歷程2008年存儲實驗室2009年WPS在線辦公空間2010年金山快盤2011年小米Cloud2012年金山云技術(shù)路線規(guī)劃開源軟件部分定制完全自主開發(fā)簡單存儲架構(gòu)討論存儲集群的基礎(chǔ)架構(gòu)API[Scheduler/調(diào)度器]Namenode/元數(shù)據(jù)節(jié)點Datanode/存儲節(jié)點存儲集群的基礎(chǔ)架構(gòu)調(diào)度與元數(shù)據(jù)靜態(tài)Hash一致性Hash彈性Hash[一致性Hash]錯誤檢測和修復(fù)

3、R+W>NLoggingFixonreading數(shù)據(jù)塊組織大文件條帶化小文件塊組織快速元數(shù)據(jù)管理快速元數(shù)據(jù)管理多機房主控式對等式異步備份獨立設(shè)備/物理位置獨立兼顧寫入效率和帶寬現(xiàn)狀具有較好的獨立容錯性原子版本功能適合對數(shù)據(jù)保全要求高的領(lǐng)域開源方案簡介較多使用的開源方案HDFS數(shù)據(jù)分析場景：HadoopMapReduce/HIVE適用于大文件流式追加和讀取非通用接口LustreGlusterFS使用NFS/CIFS代理提供通用服務(wù)使用Hash而不是元數(shù)據(jù)服務(wù)效率問題，大規(guī)模應(yīng)用案例缺失CephFUSEZFS各存儲方案基本原理HD

4、FS各存儲方案基本原理GlusterFS各存儲方案基本原理Ceph部分新技術(shù)點簡介鏡像模式VSErasureCode鏡像模式優(yōu)勢速度快，不論寫入和恢復(fù)結(jié)構(gòu)簡單，易實現(xiàn)和維護EC較少冗余ErasurecodeVandermonde-RSandCauchy-RS常用開源庫Jerasure基于EC的存儲系統(tǒng)基礎(chǔ)設(shè)計輸入效率ECCodec(Encoder/Decoder)謝謝