nginx的域名解析器使用已連接udp（收發前先調用ngx_udp_connect）發送dns查詢、接收dns響應，如上篇tcp異步連接所講，iocp需要先投遞udp的接收操作，才能引發接收完成的事件，因此要對域名解析器和udp異步接收作些改進。

發送后投遞
    dns查詢由ngx_resolver_send_query函數實現，定義在core/ngx_resolver.c中。     當nginx用于代理連接上游服務器前，要先解析域名，首次調用鏈為：ngx_http_upstream_init_request->ngx_resolver_name->ngx_resolver_name_locked->ngx_resolver_send_query；若5s（單次超時）后還沒收到dns響應，則再發送1次查詢，調用鏈為：ngx_resolver_resend_handler->ngx_resolver_resend->ngx_resolver_send_query，如此反復，直到收到響應或30s（默認總超時）后不再發送查詢。它調用ngx_send發送dns查詢，16行~21行代碼為筆者添加，ngx_resolver_read_response函數用于接收并分析dns響應報文，它會調用到下面的ngx_udp_overlapped_wsarecv函數。

異步接收
   由ngx_udp_overlapped_wsarecv函數實現，定義在os/win32/ngx_udp_wsarecv.c中。    先以非阻塞方式接收，若發生WSAWOULDBLOCK錯誤，則使用MSG_PEEK標志投遞一個0字節的重疊接收操作，當dns響應返回時發生完成事件，會再次進入ngx_resolver_read_response而調用到該函數，此時rev->complete為1，rev->ovlp.error為ERROR_MORE_DATA（GetQueuedCompletionStatus返回的錯誤），由于使用了MSG_PEEK，因此數據還在接收緩沖區中，要忽略ERROR_MORE_DATA而繼續接收，這時就能成功了。不管WSARecv返回WSA_IO_PENDING錯誤還是成功，iocp都會得到完成通知，所以這里當重疊操作投遞成功時，返回NGX_AGAIN，便于在回調內統一處理。    iocp是Windows NT操作系統的一種高效IO模型，對應于Linux中的epoll和FreeBSD中的kqueue，nginx對ske(select、kqueue和epoll的首寫字母組合)的支持很好，但截止到1.6.2版本，還不支持iocp。由于ske都是反應器模式，即先注冊IO事件，當IO事件發生（讀寫通知）時，在其回調內主動調用API來讀或寫數據；而iocp是前攝器模式，要先投遞IO操作，才能引發IO事件（完成通知）的發生，在其回調內數據已被動由操作系統讀或寫完成。因此，iocp的特點決定了nginx對它的支持與ske有所不同。通過hg clone http://hg.nginx.org/nginx下載的nginx源代碼，雖然實現了iocp事件模塊、異步接受連接、部分異步讀寫，但根本不能正常工作，而且不支持異步連接和SCM服務控制，筆者在參考ske模塊的實現基礎上，改進支持了如下特性：
      1. 異步接受連接時的負載均衡
      2. 正反向代理的異步連接
      3. 異步聚合讀寫
      4. 域名解析時的UDP異步接收
      5. 異步文件傳輸
      6. SCM服務控制
   由于2、4、6均為原創，其它幾點的思路皆源于ske模塊的實現（只是平臺API不同），因此本文先闡述異步連接的實現。為了兼容select事件模塊，所有iocp相關的代碼使用NGX_HAVE_IOCP宏和（或）NGX_USE_IOCP_EVENT標志包圍，其中NGX_HAVE_IOCP宏用于條件編譯，在WIN32平臺下，定義為1；當選擇的事件模塊為iocp時，全局變量ngx_event_flags才包含NGX_USE_IOCP_EVENT標志。

異步連接對端
   由ngx_event_connect_peer函數（這里省去了與異步連接無關的代碼）實現，定義在event/ngx_event_connect.c中，因為connect不支持異步連接事件的完成通知，所以要使用擴展API ConnectEx。     調用ConnectEx前要先bind本地地址，不然發生WSAEINVAL錯誤；由于域名解析可能返回IPv6記錄，導致創建本地套接字的地址族為AF_INET6，因此bind時需要匹配IPv6地址，不然發生WSAEFAULT錯誤，導致nginx返回Internal Server Error錯誤給前端，因此綁定前要調用ngx_iocp_set_localaddr設定正確的本地地址，當且僅當pc->local為空或地址族不匹配時。

本地初始化與設定
   支持IPv6，實現在event/modules/ngx_iocp_module.c。
   地址變量定義如下。
   sin對應IPv4，sin6對應IPv6，作為bind的套接字本地地址。

   sin和sin6在啟動iocp事件模塊時調用ngx_iocp_init初始化。       不論IP地址或端口，都指定為0，表示由系統自動分配出口IP地址和未占用的端口。

   本地設定由ngx_iocp_set_localaddr實現。

 1ngx_int_t ngx_iocp_set_localaddr(ngx_log_t *log, in_port_t family, ngx_addr_t **local)
 2{
 3    struct sockaddr *sa;
 4    socklen_t len;
 5    
 6    if(AF_INET == family){            
 7        sa = &sin;
 8        len = sizeof(struct sockaddr_in);        
 9    }
10#if (NGX_HAVE_INET6)
11    else if(AF_INET6 == family){
12        sa = &sin6;
13        len = sizeof(struct sockaddr_in6);
14    }
15#endif
16    else{
17        ngx_log_error(NGX_LOG_ALERT, log, 0, "not supported address family");
18        return NGX_ERROR;        
19    }
20
21    local_addr.sockaddr = sa;
22    local_addr.socklen = len;
23    *local = &local_addr;
24
25    return NGX_OK;
26}

   對于除IPv4和IPv6外的協議族，則記錄一個錯誤日志。必要時也可擴展支持其它的協議族，例如NetBIOS（對應地址族為AF_NETBIOS），但要看ConnectEx是否支持。    ICMP在IP系統間傳遞差錯和管理報文，是任何IP系統必須實現的組成部分。Linux 2.6.34中ICMP模塊的實現在linux/icmp.h，net/icmp.h和ipv4/icmp.c中，導出了icmp_err_convert數組和icmp_send函數，供其它網絡子系統使用。在其它網絡子系統中，當檢測到錯誤時，調用icmp_send產生并發送相應的ICMP差錯消息到源主機；當源主機收到ICMP不可達差錯消息，傳遞到原始套接字和傳輸層，而它們使用icmp_err_convert把對應的消息代碼轉換成套接字層比較容易理解的錯誤代碼。在內核空間中可發送的ICMP消息包括查詢應答和差錯報文，下面總結了產生這兩類消息的網絡子系統（及函數）與錯誤轉換。

---

應答消息
   應答消息由ICMP模塊的內部函數icmp_reply而非icmp_send發送。根據RFC1122 3.2.2.9規范， 除非一個主機作為地址掩碼代理，否則不能發送回復，這對應ICMP的icmp_address實現為空，因此上表沒有列出地址掩碼應答項（內核符號為ICMP_ADDRESSREPLY）。

差錯消息
   差錯消息由中間路由器或目的主機產生，當數據報不能成功提交給目的主機時。從上表可見，在IP層的接收、本地處理、轉發和輸出各過程中，都可能產生差錯消息；在傳輸層如果對應的端口沒有打開，那么UDP會產生ICMP端口不可達差錯，而TCP則會使用自己的差錯處理機制發送一個RST復位包，這也是上表沒有列出TCP子系統的原因。對于重定向差錯，由ICMP模塊的icmp_redirect調用ip_rt_redirect更新路由；其它差錯則由icmp_unreach處理。

---

錯誤轉換
   第2列為icmp_err_convert數組索引，第4列也就是調用socket API出錯時返回的errno，最后1列為icmp_err_convert中的fatal成員取值，0表示非致命錯誤，1表示致命錯誤，需要報告給用戶進程。錯誤轉換會被RAW的raw_err、TCP的tcp_v4_err和UDP的udp_err用到，對于ICMP_DEST_UNREACH類型的差錯，使用上表轉換；ICMP_SOURCE_QUENCH類型的忽略不處理；ICMP_PARAMETERPROB類型的轉換成EPROTO（協議錯誤）；ICMP_TIME_EXCEEDED類型的轉換成EHOSTUNREACH。
   在這要注意，從ICMP_PORT_UNREACH到ECONNREFUSED的轉換，不適用于TCP，原因已在上節說明；而對于UDP的未連接套接字，如果主機在線而端口沒打開，調用sendto得不到ECONNREFUSED錯誤，但recvfrom會阻塞，這是因為雖然內核收到了ICMP差錯，但沒上報給應用進程。盡管如此，如果想得到ECONNREFUSED錯誤，那么可以寫個ICMP守護進程，應用進程先把它的套接字描述符通過unix域套接口傳遞到ICMP守護進程，而守護進程使用raw socket來接收ICMP差錯，再發給應用進程。

---

發送限速
   不論一般差錯消息還是重定向差錯消息，發送限速針對的都是特定目標主機。
   一般限速
   在使用icmp_send發送差錯消息（PMTU消息除外）時，為減少網絡擁塞而限制了發送的速率，限速由xrlim_allow函數實現，定義在ipv4/icmp.c中。
   dst為目標路由緩存，timeout為允許發送的超時（單位為jiffies），dst->rate_tokens記錄令牌的個數，當令牌個數不小于timeout時，則減少timeout并允許發送一個消息；反之則不能發送，需等到令牌個數累積到大于timeout時才能發送，但是不能無限大，否則就會導致在一個可能很短的timeout內，發送遠多于6個的消息，引起ICMP風暴，所以這里限制了令牌的最大值為XRLIM_BURST_FACTOR*timeout即6倍的超時，也就是說在一個timeout內，最多能發送6個差錯消息。 
  
   重定向限速
   路由子系統使用ip_rt_send_redirect來發送重定向消息，定義在ipv4/route.c中，該函數內部調用icmp_send實現，在它的限速基礎上，使用指數回退算法控制發送速率。
   重定向差錯使用ip_rt_redirect_silence（默認為(HZ/50)<<10）、ip_rt_redirect_number（默認為9）和ip_rt_redirect_load（默認為HZ/50）3個量來控制發送的速率；rt->u.dst.rate_last記錄上次發送的時間，rt->u.dst.rate_tokens累計發送總數，最大值為ip_rt_redirect_number；當兩次發送的時間間隔超過ip_rt_redirect_silence或ip_rt_redirect_load<<rt->u.dst.rate_tokens，并且發送總數不超過ip_rt_redirect_number時，才允許發送一個，這樣一來，在ip_rt_redirect_silence間隔內，每次發送的超時呈2的指數增長，達到了變減速發送的效果，直到總數達到ip_rt_redirect_number時停止發送，這是因為源主機可能忽略了重定向消息所以停止發送；當ip_rt_redirect_silence時間過后，又允許發送了，這是因為認為源主機沒有更新路由所以又需要發送。      摘要:    接上篇初始化與創建，本篇闡述Socket操作和銷毀兩部分的實現。 Socket操作    系統調用read(v)、write(v)是用戶空間讀寫socket的一種方法，為了弄清楚它們是怎么通過VFS將請求轉發到特定協議的實現，下面以read為例（write同理），并假定文件描述符對應的是IPv4 TCP類型的socket...  閱讀全文      摘要: 引言    在Unix的世界里，萬物皆文件，通過虛擬文件系統VFS，程序可以用標準的Unix系統調用對不同的文件系統，甚至不同介質上的文件系統進行讀寫操作。對于網絡套接字socket也是如此，除了專屬的Berkeley Sockets API，還支持一些標準的文件IO系統調用如read(v)、write(v)和close等。那么為什么socket也支持文件IO系統調...  閱讀全文      摘要: 字符集合     依據RFC3986 2規范，HTTP URI中允許出現的US-ASCII字符的子集，可以分成保留、未保留及轉義這幾類，每類的全部字符列表如下       ● 保留:  : / ? # [ ] @ ! $ & '( ) * + ,; =共18個，一般...  閱讀全文      摘要: 腳本概述   nginx是一款著名的開源web服務器，為方便升級與恢復，編寫了一個簡單的腳本，因為升級備份了可執行文件和配置文件（后綴名為old），所以可用于恢復。當升級時，若nginx正在運行，則不中斷服務進行平滑升級，否則直接拷貝覆蓋；當恢復時，若nginx正在運行，則不中斷服務進行平滑恢復，否則直接拷貝覆蓋。是否正在運行根據pid來判斷，而pid從pid文件讀取...  閱讀全文      摘要:    本文描述了一種簡單的跨平臺鎖框架的設計與實現，該框架小巧實用、易于擴展，它的特點如下：      ● 實現了線程間互斥鎖      ● 實現優化了單線程環境中的空鎖和空級別鎖      ● 支持編譯時或運行時選擇鎖   ...  閱讀全文    眾所周知，TLS是指線程局部存儲，FIFO是Unix中的命名管道，可用于無關進程間的通信，而本文描述的TLS FIFO是指這樣一種機制：如果一個線程在每次IO操作時，若沒有連接，則先連接到FIFO服務端，再將連接關聯到這個線程的TLS中，這里的連接即創建并打開唯一的FIFO，之后的讀寫就在這個FIFO連接上進行；當FIFO連接斷開時，在下次IO操作時會自動重連。這樣一來，用戶程序就只要調用相關的IO操作，而不必管理連接，極大地簡化了程序。使用FIFO通信前先要創建FIFO再打開它，其中創建是最重要的操作，結果有3種情況：成功、失敗和已存在。

結構定義   fd存儲FIFO文件描述符，name存儲FIFO文件系統路徑名。

  如果成功則返回已發送的字節數，否則返回-1，errno表示出錯代碼。
   
  ● 接收數據
  ● 關閉FIFO

  建立FIFO連接

---

---

  適用于FIFO客戶端，當TLS中沒有關聯對應的FIFO時，則先調用fifo_tls_get進入建立FIFO連接流程，而后再發數據。      摘要:    Web服務器為了支持https訪問，通常會使用第三方庫openssl實現，而且為了高性能采用異步事件驅動模型，因此連接套接字被設為非阻塞類型，本文在nginx ssl模塊的基礎上，簡化提取它的核心框架，使用面向對象的方式描述，從握手、讀寫和關閉3個方面進行了分析，由于這3個操作都是異步的，因此操作失敗后要調用SSL_get_error來獲取錯誤碼，有如下4種情況。 &n...  閱讀全文