《kafka深度分析》word版

《《kafka深度分析》word版》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、Kafka深度分析架構(gòu)kafka是顯式分布式架構(gòu)，producer、broker（Kafka）和consumer都可以有多個(gè)。Kafka的運(yùn)行依賴于ZooKeeper，Producer推送消息給kafka，Consumer從kafka拉消息。kafka關(guān)鍵技術(shù)點(diǎn)（1）?zero-copy在Kafka上，有兩個(gè)原因可能導(dǎo)致低效：1）太多的網(wǎng)絡(luò)請求2）過多的字節(jié)拷貝。為了提高效率，Kafka把message分成一組一組的，每次請求會(huì)把一組message發(fā)給相應(yīng)的consumer。此外，為了減少字節(jié)拷貝，采用了sendfile系統(tǒng)調(diào)用。

2、為了理解sendfile原理，先說一下傳統(tǒng)的利用socket發(fā)送文件要進(jìn)行拷貝：Sendfile系統(tǒng)調(diào)用：（2）?Exactlyoncemessagetransfer怎樣記錄每個(gè)consumer處理的信息的狀態(tài)？在Kafka中僅保存了每個(gè)consumer已經(jīng)處理數(shù)據(jù)的offset。這樣有兩個(gè)好處：1）保存的數(shù)據(jù)量少2）當(dāng)consumer出錯(cuò)時(shí)，重新啟動(dòng)consumer處理數(shù)據(jù)時(shí)，只需從最近的offset開始處理數(shù)據(jù)即可。（3）Push/pullProducer向Kafka（push）推數(shù)據(jù)，consumer從kafka拉（pull

3、）數(shù)據(jù)。（4）負(fù)載均衡和容錯(cuò)Producer和broker之間沒有負(fù)載均衡機(jī)制。broker和consumer之間利用zookeeper進(jìn)行負(fù)載均衡。所有broker和consumer都會(huì)在zookeeper中進(jìn)行注冊，且zookeeper會(huì)保存他們的一些元數(shù)據(jù)信息。如果某個(gè)broker和consumer發(fā)生了變化，所有其他的broker和consumer都會(huì)得到通知。kafka術(shù)語TopicTopic,是KAFKA對消息分類的依據(jù);一條消息,必須有一個(gè)與之對應(yīng)的Topic;比如現(xiàn)在又兩個(gè)Topic,分別是TopicA和Topic

4、B,Producer向TopicA發(fā)送一個(gè)消息messageA,然后向TopicB發(fā)送一個(gè)消息messaeB;那么,訂閱TopicA的Consumer就會(huì)收到消息messageA,訂閱TopicB的Consumer就會(huì)收到消息messaeB;(每個(gè)Consumer可以同時(shí)訂閱多個(gè)Topic,也即是說,同時(shí)訂閱TopicA和TopicB的Consumer可以收到messageA和messaeB)。同一個(gè)Groupid的consumers在同一個(gè)Topic的同一條消息只能被一個(gè)consumer消費(fèi)，實(shí)現(xiàn)了點(diǎn)對點(diǎn)模式，不同Groupid

5、的Consumers在同一個(gè)Topic上的同一條消息可以同時(shí)消費(fèi)到，則實(shí)現(xiàn)了發(fā)布訂閱模式。通過Consumer的Groupid實(shí)現(xiàn)了JMS的消息模式MessageMessage就是消息,是KAfKA操作的對象,消息是按照Topic存儲的;KAFKA中按照一定的期限保存著所有發(fā)布過的Message,不管這些Message是否被消費(fèi)過;例如這些Message的保存期限被這只為兩天,那么一條Message從發(fā)布開始的兩天時(shí)間內(nèi)是可用的,超過保存期限的消息會(huì)被清空以釋放存儲空間。消息都是以字節(jié)數(shù)組進(jìn)行網(wǎng)絡(luò)傳遞。Partition每一個(gè)To

6、pic可以有多個(gè)Partition,這樣做是為了提高KAFKA系統(tǒng)的并發(fā)能力，每個(gè)Partition中按照消息發(fā)送的順序保存著Producer發(fā)來的消息,每個(gè)消息用ID標(biāo)識,代表這個(gè)消息在改Partition中的偏移量,這樣,知道了ID,就可以方便的定位一個(gè)消息了;每個(gè)新提交過來的消息,被追加到Partition的尾部;如果一個(gè)Partition被寫滿了,就不再追加;(注意,KAFKA不保證不同Partition之間的消息有序保存)LeaderPartition中負(fù)責(zé)消息讀寫的節(jié)點(diǎn);Leader是從Partition的節(jié)點(diǎn)中隨機(jī)選

7、取的。每個(gè)Partition都會(huì)在集中的其中一臺服務(wù)器存在Leader。一個(gè)Topic如果有多個(gè)Partition，則會(huì)有多個(gè)Leader。ReplicationFactor一個(gè)Partition中復(fù)制數(shù)據(jù)的所有節(jié)點(diǎn),包括已經(jīng)掛了的;數(shù)量不會(huì)超過集群中broker的數(shù)量isrReplicationFactor的子集,存活的且和Leader保持同步的節(jié)點(diǎn);Consumer?Group傳統(tǒng)的消息系統(tǒng)提供兩種使用方式:隊(duì)列和發(fā)布-訂閱;隊(duì)列：是一個(gè)池中有若干個(gè)Consumer,一條消息發(fā)出來以后,被其中的一個(gè)Consumer消費(fèi);發(fā)布-

8、訂閱：是一個(gè)消息被廣播出去,之后被所有訂閱該主題的Consumer消費(fèi);KAFKA提供的使用方式可以達(dá)到以上兩種方式的效果:Consumer?Group;每一個(gè)Consumer用Consumer?Group?Name標(biāo)識自己,當(dāng)一條消息產(chǎn)生后,改消