發(fā)布一個基于 Reactor 模式的 C++ 網(wǎng)絡庫
陳碩 (giantchen_AT_gmail)
Blog.csdn.net/Solstice
2010 Aug 30
本文主要介紹 muduo 網(wǎng)絡庫的使用。其設計與實現(xiàn)將有另文講解。
目錄
由來 1
下載與編譯 2
例子 2
基本結構 3
公開接口 4
內(nèi)部實現(xiàn) 4
線程模型 5
結語 5
由來
半年前我寫了一篇《學之者生，用之者死——ACE歷史與簡評》，其中提到“我心目中理想的網(wǎng)絡庫”的樣子：
- 線程安全，支持多核多線程
- 不考慮可移植性，不跨平臺，只支持 Linux，不支持 Windows。
- 在不增加復雜度的前提下可以支持 FreeBSD/Darwin，方便將來用 Mac 作為開發(fā)用機，但不為它做性能優(yōu)化。也就是說 IO multiplexing 使用 poll 和 epoll。
- 主要支持 x86-64，兼顧 IA32
- 不支持 UDP，只支持 TCP
- 不支持 IPv6，只支持 IPv4
- 不考慮廣域網(wǎng)應用，只考慮局域網(wǎng)
- 只支持一種使用模式：non-blocking IO + one event loop per thread，不考慮阻塞 IO
- API 簡單易用，只暴露具體類和標準庫里的類，不使用 non-trivial templates，也不使用虛函數(shù)
- 只滿足常用需求的 90%，不面面俱到，必要的時候以 app 來適應 lib
- 只做 library，不做成 framework
- 爭取全部代碼在 5000 行以內(nèi)（不含測試）
- 以上條件都滿足時，可以考慮搭配 Google Protocol Buffers RPC
在想清楚這些目標之后，我開始第三次嘗試編寫自己的 C++ 網(wǎng)絡庫。與前兩次不同，這次我一開始就想好了庫的名字，叫 muduo （木鐸），并在 Google code 上創(chuàng)建了項目： http://code.google.com/p/muduo/ 。muduo 的主體內(nèi)容在 5 月底已經(jīng)基本完成，現(xiàn)在我把它開源。
本文主要介紹 muduo 網(wǎng)絡庫的使用，其設計與實現(xiàn)將有另文講解。
下載與編譯
下載地址： http://muduo.googlecode.com/files/muduo-0.1.0-alpha.tar.gz
SHA1 Checksum: 5d3642e311177ded89ed0d15c10921738f8c984c
Muduo 使用了 Linux 較新的系統(tǒng)調(diào)用，要求 Linux 的內(nèi)核版本大于 2.6.28 （我自己用的是 2.6.32 ）。在 Debian Squeeze / Ubuntu 10.04 LTS 上編譯測試通過，32 位和 64 位系統(tǒng)都能使用。
Muduo 采用 CMake 為 build system，安裝方法：
$ sudo apt-get install cmake
Muduo 依賴 Boost，很容易安裝：
$ sudo apt-get install libboost1.40-dev # 或 libboost1.42-dev
編譯方法很簡單：
$ tar zxf muduo-0.1.0-alpha.tar.gz
$ cd muduo/
$ ./build.sh
# 編譯生成的可執(zhí)行文件和靜態(tài)庫文件分別位于 ../build/debug/{bin,lib}
如果要編譯 release 版，可執(zhí)行
$ BUILD_TYPE=release ./build.sh
# 編譯生成的可執(zhí)行文件和靜態(tài)庫文件分別位于 ../build/release/{bin,lib}
編譯完成之后請試運行其中的例子。比如 bin/inspector_test ，然后通過瀏覽器訪問 http://10.0.0.10:12345/ 或 http://10.0.0.10:12345/proc/status，其中 10.0.0.10 替換為你的 Linux box 的 IP。
例子
Muduo 附帶了幾十個小例子，位于 examples 目錄。其中包括從 Boost.Asio、JBoss Netty、Python Twisted 等處移植過來的例子。
examples
|-- simple # 簡單網(wǎng)絡協(xié)議的實現(xiàn)
| |-- allinone # 在一個程序里同時實現(xiàn)下面 5 個協(xié)議
| |-- chargen # RFC 864，可測試帶寬
| |-- daytime # RFC 867
| |-- discard # RFC 863
| |-- echo # RFC 862
| |-- time # RFC 868
| `-- timeclient # time 協(xié)議的客戶端
|-- hub # 一個簡單的 pub/sub/hub 服務，演示應用級的廣播
|-- roundtrip # 測試兩臺機器的網(wǎng)絡延時與時間差
|-- asio # 從 Boost.Asio 移植的例子
| |-- chat # 聊天服務
| `-- tutorial # 一系列 timers
|-- netty # 從 JBoss Netty 移植的例子
| |-- discard # 可用于測試帶寬，服務器可多線程運行
| |-- echo # 可用于測試帶寬，服務器可多線程運行
| `-- uptime # TCP 長連接
`-- twisted # 從 Python Twisted 移植的例子
`-- finger # finger01 ~ 07
基本結構
Muduo 的目錄結構如下。
muduo
|-- base # 與網(wǎng)絡無關的基礎代碼，已提前發(fā)布
`-- net # 網(wǎng)絡庫
|-- http # 一個簡單的可嵌入的 web 服務器
|-- inspect # 基于以上 web 服務器的“窺探器”，用于報告進程的狀態(tài)
`-- poller # poll(2) 和 epoll(4) 兩種 IO multiplexing 后端
Muduo 是基于 Reactor 模式的網(wǎng)絡庫，其核心是個事件循環(huán) EventLoop，用于響應計時器和 IO 事件。Muduo 采用基于對象（object based）而非面向?qū)ο螅╫bject oriented）的設計風格，其接口多以 boost::function + boost::bind 表達。
Muduo 的頭文件明確分為客戶可見和客戶不可見兩類。客戶可見的為白底，客戶不可見的為灰底。
這里簡單介紹各個頭文件及 class 的作用，詳細的介紹留給以后的博客。
公開接口
- Buffer 仿 Netty ChannelBuffer 的 buffer class，數(shù)據(jù)的讀寫透過 buffer 進行
- InetAddress 封裝 IPv4 地址 (end point)，注意，muduo 目前不能解析域名，只認 IP
- EventLoop 反應器 Reactor，用戶可以注冊計時器回調(diào)
- EventLoopThread 啟動一個線程，在其中運行 EventLoop::loop()
- TcpConnection 整個網(wǎng)絡庫的核心，封裝一次 TCP 連接
- TcpClient 用于編寫網(wǎng)絡客戶端，能發(fā)起連接，并且有重試功能
- TcpServer 用于編寫網(wǎng)絡服務器，接受客戶的連接
- 在這些類中，TcpConnection 的生命期依靠 shared_ptr 控制（即用戶和庫共同控制）。Buffer 的生命期由 TcpConnection 控制。其余類的生命期由用戶控制。
- HttpServer 和 Inspector，暴露出一個 http 界面，用于監(jiān)控進程的狀態(tài)，類似于 Java JMX。這么做的原因是，《程序員修煉之道》第 6 章第 34 條提到“對于更大、更復雜的服務器代碼，提供其操作的內(nèi)部試圖的一種漂亮技術是使用內(nèi)建的 Web 服務器”，Jeff Dean 也說“（每個 Google 的服務器進程）Export HTML-based status pages for easy diagnosis”。
內(nèi)部實現(xiàn)
- Channel 是 selectable IO channel，負責注冊與響應 IO 事件，它不擁有 file descriptor。它是 Acceptor、Connector、EventLoop、TimerQueue、TcpConnection 的成員，生命期由后者控制。
- Socket 封裝一個 file descriptor，并在析構時關閉 fd。它是 Acceptor、TcpConnection 的成員，生命期由后者控制。EventLoop、TimerQueue 也擁有 fd，但是不封裝為 Socket。
- SocketsOps 封裝各種 sockets 系統(tǒng)調(diào)用。
- EventLoop 封裝事件循環(huán)，也是事件分派的中心。它用 eventfd(2) 來異步喚醒，這有別于傳統(tǒng)的用一對 pipe(2) 的辦法。它用 TimerQueue 作為計時器管理，用 Poller 作為 IO Multiplexing。
- Poller 是 PollPoller 和 EPollPoller 的基類，采用“電平觸發(fā)”的語意。它是 EventLoop 的成員，生命期由后者控制。
- PollPoller 和 EPollPoller 封裝 poll(2) 和 epoll(4) 兩種 IO Multiplexing 后端。Poll 的存在價值是便于調(diào)試，因為 poll(2) 調(diào)用是上下文無關的，用 strace 很容易知道庫的行為是否正確。
- Connector 用于發(fā)起 TCP 連接，它是 TcpClient 的成員，生命期由后者控制。
- Acceptor 用于接受 TCP 連接，它是 TcpServer 的成員，生命期由后者控制。
- TimerQueue 用 timerfd 實現(xiàn)定時，這有別于傳統(tǒng)的設置 poll/epoll_wait 的等待時長的辦法。為了簡單起見，目前用鏈表來管理 Timer，如果有必要可改為優(yōu)先隊列，這樣復雜度可從 O(n) 降為 O(ln n) （某些操作甚至是 O(1)）。它是 EventLoop 的成員，生命期由后者控制。
- EventLoopThreadPool 用于創(chuàng)建 IO 線程池，也就是說把 TcpConnection 分派到一組運行 EventLoop 的線程上。它是 TcpServer 的成員，生命期由后者控制。
線程模型
Muduo 的線程模型符合我主張的 one loop per thread + thread pool 模型。每個線程最多有一個 EventLoop。每個 TcpConnection 必須歸某個 EventLoop 管理，所有的 IO 會轉(zhuǎn)移到這個線程，換句話說一個 file descriptor 只能由一個線程讀寫。TcpConnection 所在的線程由其所屬的 EventLoop 決定，這樣我們可以很方便地把不同的 TCP 連接放到不同的線程去，也可以把一些 TCP 連接放到一個線程里。TcpConnection 和 EventLoop 是線程安全的，可以跨線程調(diào)用。TcpServer 直接支持多線程，它有兩種模式：
1. 單線程，accept 與 TcpConnection 用同一個線程做 IO。
2. 多線程，accept 與 EventLoop 在同一個線程，另外創(chuàng)建一個 EventLoopThreadPool，新到的連接會按 round-robin 方式分配到線程池中。
結語
Muduo 是我對常見網(wǎng)絡編程任務的總結，用它我能很容易地編寫多線程的 TCP 服務器和客戶端。Muduo 是我業(yè)余時間的作品，代碼估計還有很多 bug，功能也不完善（例如不支持 signal 處理），待日后慢慢改進吧。