消息中間件kafka簡介

目的及應用場景

Kafka是linkedin的分布式消息系統，設計側重高吞吐量，用于好友動態，相關性統計，排行統計，訪問頻率控制，批處理等系統。

傳統的離線分析方案是使用日志文件記錄數據，然后集中批量處理分析。這種方式對于實時性要求很高的活動流數據不適合，而大部分的消息中間件能夠處理實時性要求高的消息/數據，但是對于隊列中大量未處理的消息/數據在持久性方面比較弱。

設計理念

         持久化消息

         高吞吐量

         consumer決定消息狀態

         系統中各個角色都是分布式集群

consumer有邏輯組的概念，每個consumer進程屬于一個consumer組，每個消息會發給每個關注此消息的consumer組中的某一個consumer進程。

Linkedin使用了多個consumer組，每個組多個相同職責的consumer進程。

部署架構

消息持久化和緩存

Kafka使用磁盤文件做持久化，磁盤文件的讀寫速度在于如何使用，隨機寫比順序寫慢的多，現代os會在內存回收對性能影響不大的情況下盡量使用內存cache進行磁盤的合并寫。所以用戶進程再做一次緩存沒有太大必要。Kafka的讀寫都是順序的，以append方式寫入文件。

為減少內存copy，kafka使用sendfile發送數據，通過合并message提升性能。

Kafka不儲存每個消息的狀態，而使用（consumer,topic,partition）保存每個客戶端狀態，大大減小了維護每個消息狀態的麻煩。

在消息的推vs拉的選擇上，kafka使用拉的方式，因為推的方式會因為各個客戶端的處理能力、流量等不同產生不確定性。

負載均衡

Producers和brokers通過硬件做負載均衡，brokers和consumers都以集群方式運行，通過zookeeper協調變更和成員管理。