大型網(wǎng)站架構(gòu)演變與知識(shí)體系

《大型網(wǎng)站架構(gòu)演變與知識(shí)體系》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、大型網(wǎng)站架構(gòu)演變和知識(shí)體系第一步：物理分離webserver和數(shù)據(jù)庫(kù)由于網(wǎng)站具備了一定的特色，吸引了部分人訪問(wèn)，逐漸你發(fā)現(xiàn)系統(tǒng)的壓力越來(lái)越高，響應(yīng)速度越來(lái)越慢，而這個(gè)時(shí)候比較明顯的是數(shù)據(jù)庫(kù)和應(yīng)用互相影響，應(yīng)用出問(wèn)題了，數(shù)據(jù)庫(kù)也很容易出現(xiàn)問(wèn)題，而數(shù)據(jù)庫(kù)出問(wèn)題的時(shí)候，應(yīng)用也容易出問(wèn)題，于是進(jìn)入了第一步演變階段：將應(yīng)用和數(shù)據(jù)庫(kù)從物理上分離，變成了兩臺(tái)機(jī)器，這個(gè)時(shí)候技術(shù)上沒(méi)有什么新的要求，但你發(fā)現(xiàn)確實(shí)起到效果了，系統(tǒng)又恢復(fù)到以前的響應(yīng)速度了，并且支撐住了更高的流量，并且不會(huì)因?yàn)閿?shù)據(jù)庫(kù)和應(yīng)用形成互相的影響。這一步架構(gòu)演變對(duì)技術(shù)上的知識(shí)體系基本沒(méi)有要求。第二步：增加頁(yè)面緩存好景不長(zhǎng)，隨著訪問(wèn)的人

2、越來(lái)越多，你發(fā)現(xiàn)響應(yīng)速度又開始變慢了，查找原因，發(fā)現(xiàn)是訪問(wèn)數(shù)據(jù)庫(kù)的操作太多，導(dǎo)致數(shù)據(jù)連接競(jìng)爭(zhēng)激烈，所以響應(yīng)變慢，但數(shù)據(jù)庫(kù)連接又不能開太多，否則數(shù)據(jù)庫(kù)機(jī)器壓力會(huì)很高，因此考慮采用緩存機(jī)制來(lái)減少數(shù)據(jù)庫(kù)連接資源的競(jìng)爭(zhēng)和對(duì)數(shù)據(jù)庫(kù)讀的壓力，這個(gè)時(shí)候首先也許會(huì)選擇采用squid等類似的機(jī)制來(lái)將系統(tǒng)中相對(duì)靜態(tài)的頁(yè)面（例如一兩天才會(huì)有更新的頁(yè)面）進(jìn)行緩存（當(dāng)然，也可以采用將頁(yè)面靜態(tài)化的方案），這樣程序上可以不做修改，就能夠很好的減少對(duì)webserver的壓力以及減少數(shù)據(jù)庫(kù)連接資源的競(jìng)爭(zhēng)，OK，于是開始采用squid來(lái)做相對(duì)靜態(tài)的頁(yè)面的緩存。這一步涉及到了這些知識(shí)體系：前端頁(yè)面緩存技術(shù)，例如squid

3、，如想用好的話還得深入掌握下squid的實(shí)現(xiàn)方式以及緩存的失效算法等。第三步：增加頁(yè)面片段緩存增加了squid做緩存后，整體系統(tǒng)的速度確實(shí)是提升了，webserver的壓力也開始下降了，但隨著訪問(wèn)量的增加，發(fā)現(xiàn)系統(tǒng)又開始變的有些慢了，在嘗到了squid之類的動(dòng)態(tài)緩存帶來(lái)的好處后，開始想能不能讓現(xiàn)在那些動(dòng)態(tài)頁(yè)面里相對(duì)靜態(tài)的部分也緩存起來(lái)呢，因此考慮采用類似ESI之類的頁(yè)面片段緩存策略，OK，于是開始采用ESI來(lái)做動(dòng)態(tài)頁(yè)面中相對(duì)靜態(tài)的片段部分的緩存。這一步涉及到了這些知識(shí)體系：頁(yè)面片段緩存技術(shù)，例如ESI等，想用好的話同樣需要掌握ESI的實(shí)現(xiàn)方式等；第四步：數(shù)據(jù)緩存在采用ESI之類的技術(shù)

4、再次提高了系統(tǒng)的緩存效果后，系統(tǒng)的壓力確實(shí)進(jìn)一步降低了，但同樣，隨著訪問(wèn)量的增加，系統(tǒng)還是開始變慢，經(jīng)過(guò)查找，可能會(huì)發(fā)現(xiàn)系統(tǒng)中存在一些重復(fù)獲取數(shù)據(jù)信息的地方，像獲取用戶信息等，這個(gè)時(shí)候開始考慮是不是可以將這些數(shù)據(jù)信息也緩存起來(lái)呢，于是將這些數(shù)據(jù)緩存到本地內(nèi)存，改變完畢后，完全符合預(yù)期，系統(tǒng)的響應(yīng)速度又恢復(fù)了，數(shù)據(jù)庫(kù)的壓力也再度降低了不少。這一步涉及到了這些知識(shí)體系：緩存技術(shù)，包括像Map數(shù)據(jù)結(jié)構(gòu)、緩存算法、所選用的框架本身的實(shí)現(xiàn)機(jī)制等。第五步：增加webserver好景不長(zhǎng)，發(fā)現(xiàn)隨著系統(tǒng)訪問(wèn)量的再度增加，webserver機(jī)器的壓力在高峰期會(huì)上升到比較高，這個(gè)時(shí)候開始考慮增加一臺(tái)we

5、bserver，這也是為了同時(shí)解決可用性的問(wèn)題，避免單臺(tái)的webserverdown機(jī)的話就沒(méi)法使用了，在做了這些考慮后，決定增加一臺(tái)webserver，增加一臺(tái)webserver時(shí)，會(huì)碰到一些問(wèn)題，典型的有：1、如何讓訪問(wèn)分配到這兩臺(tái)機(jī)器上，這個(gè)時(shí)候通常會(huì)考慮的方案是Apache自帶的負(fù)載均衡方案，或LVS這類的軟件負(fù)載均衡方案；2、如何保持狀態(tài)信息的同步，例如用戶session等，這個(gè)時(shí)候會(huì)考慮的方案有寫入數(shù)據(jù)庫(kù)、寫入存儲(chǔ)、或同步session信息等機(jī)制等；3、如何保持?jǐn)?shù)據(jù)緩存信息的同步，例如之前緩存的用戶數(shù)據(jù)等，這個(gè)時(shí)候通常會(huì)考慮的機(jī)制有緩存同步或分布式緩存；4、如何讓上傳文件

6、這些類似的功能繼續(xù)正常，這個(gè)時(shí)候通常會(huì)考慮的機(jī)制是使用共享文件系統(tǒng)或存儲(chǔ)等；在解決了這些問(wèn)題后，終于是把webserver增加為了兩臺(tái)，系統(tǒng)終于是又恢復(fù)到了以往的速度。這一步涉及到了這些知識(shí)體系：負(fù)載均衡技術(shù)（包括但不限于硬件負(fù)載均衡、軟件負(fù)載均衡、負(fù)載算法、linux轉(zhuǎn)發(fā)協(xié)議、所選用的技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、主備技術(shù)（包括但不限于ARP欺騙、linuxheart-beat等）、狀態(tài)信息或緩存同步技術(shù)（包括但不限于技術(shù)、UDP協(xié)議、狀態(tài)信息廣播、所選用的緩存同步技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、共享文件技術(shù)（包括但不限于NFS等）、存儲(chǔ)技術(shù)（包括但不限于存儲(chǔ)設(shè)備等）。第六步：分庫(kù)享受了一段時(shí)間的系統(tǒng)訪

7、問(wèn)量高速增長(zhǎng)的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經(jīng)過(guò)查找，發(fā)現(xiàn)數(shù)據(jù)庫(kù)寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫(kù)連接的資源競(jìng)爭(zhēng)非常激烈，導(dǎo)致了系統(tǒng)變慢，這下怎么辦呢，此時(shí)可選的方案有數(shù)據(jù)庫(kù)集群和分庫(kù)策略，集群方面像有些數(shù)據(jù)庫(kù)支持的并不是很好，因此分庫(kù)會(huì)成為比較普遍的策略，分庫(kù)也就意味著要對(duì)原有程序進(jìn)行修改，一通修改實(shí)現(xiàn)分庫(kù)后，不錯(cuò)，目標(biāo)達(dá)到了，系統(tǒng)恢復(fù)甚至速度比以前還快了。這一步涉及到了這些知識(shí)體系：這一步更多的是需要從業(yè)務(wù)上做合理的劃分，以實(shí)現(xiàn)分庫(kù)，