超高速即時處理架構-Kafka

大家好，我是貓大！各位還記得嗎?在不久之前的文章<超高速即時處理架構–Storm上的高頻交易系統>中提到了kafka一詞，這周貓大就要為各位介紹什麼是kafka，為什麼需要用到它，以及帶來的好處又是什麼。

什麼是Kafka ?
Apache Kafka由LinkedIn所開發，並且在2012年成為了Apache中的主要項目之一，可以即時處理龐大的資料傳遞工作，Kafka就是一種訊息佇列，它可以儲存正在傳輸的訊息，保證當我們在跨機器的訊息傳遞時，可以準確無誤的送達。

為什麼用到Kafka?
對於採礦貓的高頻交易系統而言，我們有前端的使用者介面，後端負責接收即時報價的市場狀態室、交易室、規劃室以及模擬交易室，就開發的過程與日後的維護而言，如果能降低各室耦合程度的話，是很有幫助的，也就是可以透過Kafka作為各室訊息傳輸的接口，如此一來便可避免當修改某室程式碼時，其它室的程式碼，也須隨之修改的狀況發生。
由於各室是分散到不同台實體機器上，所以訊息傳輸是非常重要的！Kafka可以保證大量的訊息，可以準確無誤地快速送達，再者Kafka可以同時提供離線處理與即時處理，所以就滿適合市場狀態室、交易室，這種透過Storm去處理大量即時的訊息，而離線處理就適合像是規劃室，因為規劃室的功能是透過歷史資料，來建立模型，產出策略之用。

Kafka的架構
Kafka的主要角色:
➢Topic : 放訊息的類別。
➢Producer : 向Topic發送訊息者。
➢Broker : Kafka的伺服器。
➢Consumer : 訂閱並處理訊息者。
➢Zookeeper : 協調管理kafka的群集配置。

此為Kafka架構圖對照採礦貓的高頻交易系統而言，Producer就是即時報價的來源，每秒都會有報價進來，這些報價資料會push到Topic裡，而以Storm撰寫的市場狀態室就是Consumer，它會pull資料回來，然後進行處理，進而產生數千個技術指標，以供日後規劃室建立策略。