twemproxy(nutcracker)是twitter實現的開源memcached和redis代理，主要功能是根據key分發請求到后端的memcached和redis服務器，簡化memcached和redis集群服務的實現。
出于對twemproxy實現機制的好奇，簡要閱讀了代碼，特別是網絡處理部分，一般這部分是網絡服務器的核心，這里記錄下其代碼實現邏輯和發現的問題。
twemproxy作為代理服務器，主體邏輯都圍繞著數據流轉，采用了單線程非阻塞模型，在linux下由epoll驅動整個程序的運行，對于事件驅動模塊的封裝在event目錄下，event_base對象是引擎，conn對象是具體的連接，conn對象中定義一系列事件處理的回調函數，典型的reactor機制，linux下的實現文件是nc_epoll.c 。
事件引擎模塊使用了兩層回調機制， event_base上有個基本的回調函數，這個回調函數進一步調用conn對象的相應回調函數 （注：一般直接使用conn的回調也就夠了）。
面向客戶端的conn回調：
conn->recv = msg_recv;
conn->recv_next = req_recv_next;
conn->recv_done = req_recv_done;
conn->send = msg_send;
conn->send_next = rsp_send_next;
conn->send_done = rsp_send_done;
conn->close = client_close;
conn->active = client_active;
conn->enqueue_outq = req_client_enqueue_omsgq;
conn->dequeue_outq = req_client_dequeue_omsgq;
面向后端memcached和redis的conn回調：
conn->recv = msg_recv;
conn->recv_next = rsp_recv_next;
conn->recv_done = rsp_recv_done;
conn->send = msg_send;
conn->send_next = req_send_next;
conn->send_done = req_send_done;
conn->close = server_close;
conn->active = server_active;
conn->enqueue_inq = req_server_enqueue_imsgq;
conn->dequeue_inq = req_server_dequeue_imsgq;
conn->enqueue_outq = req_server_enqueue_omsgq;
conn->dequeue_outq = req_server_dequeue_omsgq;
twemproxy面向客戶端時，由proxy_accept接收連接，創建客戶端conn對象，并將其加入到事件引擎中。
twemproxy面向后端時，由server_pool管理各個到后端的conn對象，同樣會加入到事件引擎中。
在請求處理模塊有2個主要的概念是 mbuf對象和msg對象，mbuf對象是數據緩沖區，發送和接收的數據都存放在mbuf中， 采用鏈式管理。msg對象是具體的邏輯請求，采用鏈式管理，形成請求/響應隊列。請求和響應的處理模塊分別在nc_request.c和nc_response.c中實現。
客戶端連接的處理邏輯：
core_recv
conn->recv 即msg_recv ，read事件處理
conn->recv_next 即req_recv_next ，獲得msg對象，沒有則創建
msg_recv_chain 創建mbuf對象，接收并處理數據
[create mbuf]
conn_recv 真正的read數據
msg_parse 解析 ， mbuf->msg
msg_parsed 解析完成
conn->recv_done 即req_recv_done
req_filter 過濾器，暫無操作
req_forward 分發請求
server_pool_conn 根據key獲得后端conn對象
將s_conn加入寫事件監控，將msg加入轉發隊列，可寫事件被觸發后轉發隊列內請求
s_conn->enqueue_inq req_server_enqueue_imsgq
conn->recv_next 即req_recv_next，繼續下一個
注：從代碼實現看回調邏輯的層次性不強，收發數據放入mbuf列表，然后用writev處理，在遇到發送不完時還要拆分mbuf，重新組織iovec，實現上有些復雜。
另外conn對象的數據采用一次讀/寫完的方式處理，在高壓力下可能會產生大量的mbuf對象。
未完待續。