C++ 技術(shù)中心

160 Posts :: 0 Stories :: 87 Comments :: 0 Trackbacks

公告

鄭重聲明：本BLOG所發(fā)表的原創(chuàng)文章，作者保留一切權(quán)利。必須經(jīng)過作者本人同意后方可轉(zhuǎn)載，并注名作者（天空）和出處（CppBlog.com）。作者Email：coder@luckcoder.com

留言簿(27)

隨筆分類

隨筆檔案

搜索

評論排行榜

epoll 的accept , read, write(重要)

在一個非阻塞的socket上調(diào)用read/write函數(shù), 返回EAGAIN或者EWOULDBLOCK(注: EAGAIN就是EWOULDBLOCK)

從字面上看, 意思是:

* EAGAIN: 再試一次

* EWOULDBLOCK: 如果這是一個阻塞socket, 操作將被block

* perror輸出: Resource temporarily unavailable

總結(jié):

這個錯誤表示資源暫時不夠, 可能read時, 讀緩沖區(qū)沒有數(shù)據(jù), 或者, write時,

寫緩沖區(qū)滿了.

遇到這種情況, 如果是阻塞socket, read/write就要阻塞掉.

而如果是非阻塞socket, read/write立即返回-1, 同時errno設(shè)置為EAGAIN.

所以, 對于阻塞socket, read/write返回-1代表網(wǎng)絡(luò)出錯了.

但對于非阻塞socket, read/write返回-1不一定網(wǎng)絡(luò)真的出錯了.

可能是Resource temporarily unavailable. 這時你應(yīng)該再試, 直到Resource available.

綜上, 對于non-blocking的socket, 正確的讀寫操作為:

讀: 忽略掉errno = EAGAIN的錯誤, 下次繼續(xù)讀　

寫: 忽略掉errno = EAGAIN的錯誤, 下次繼續(xù)寫　

對于select和epoll的LT模式, 這種讀寫方式是沒有問題的. 但對于epoll的ET模式, 這種方式還有漏洞.

epoll的兩種模式 LT 和 ET

二者的差異在于 level-trigger 模式下只要某個 socket 處于 readable/writable 狀態(tài)，無論什么時候

進(jìn)行 epoll_wait 都會返回該 socket；而 edge-trigger 模式下只有某個 socket 從 unreadable 變?yōu)?readable 或從

unwritable 變?yōu)?writable 時，epoll_wait 才會返回該 socket。如下兩個示意圖:

從socket讀數(shù)據(jù):

往socket寫數(shù)據(jù)

所以, 在epoll的ET模式下, 正確的讀寫方式為:

讀: 只要可讀, 就一直讀, 直到返回0, 或者 errno = EAGAIN

寫: 只要可寫, 就一直寫, 直到數(shù)據(jù)發(fā)送完, 或者 errno = EAGAIN

正確的讀:

C代碼

n = 0;
while ((nread = read(fd, buf + n, BUFSIZ-1)) > 0) {
n += nread;
}
if (nread == -1 && errno != EAGAIN) {
perror("read error");
}

正確的寫:

C代碼

int nwrite, data_size = strlen(buf);
n = data_size;
while (n > 0) {
nwrite = write(fd, buf + data_size - n, n);
if (nwrite < n) {
if (nwrite == -1 && errno != EAGAIN) {
perror("write error");
}
break;
}
n -= nwrite;
}

正確的accept，accept 要考慮 2 個問題

(1) 阻塞模式 accept 存在的問題

accept每次都是從已經(jīng)完成三次握手的tcp隊(duì)列中取出一個連接

考慮這種情況： TCP 連接被客戶端夭折，即在服務(wù)器調(diào)用 accept 之前，客戶端主動發(fā)送 RST 終止

連接，導(dǎo)致剛剛建立的連接從就緒隊(duì)列中移出，如果套接口被設(shè)置成阻塞模式，服務(wù)器就會一直阻塞

在 accept 調(diào)用上，直到其他某個客戶建立一個新的連接為止。但是在此期間，服務(wù)器單純地阻塞在

accept 調(diào)用上，就緒隊(duì)列中的其他描述符都得不到處理.

解決辦法是把監(jiān)聽套接口設(shè)置為非阻塞，當(dāng)客戶在服務(wù)器調(diào)用 accept 之前中止某個連接時，accept 調(diào)用

可以立即返回 -1，這時源自 Berkeley 的實(shí)現(xiàn)會在內(nèi)核中處理該事件，并不會將該事件通知給 epool，

而其他實(shí)現(xiàn)把 errno 設(shè)置為 ECONNABORTED 或者 EPROTO 錯誤，我們應(yīng)該忽略這兩個錯誤。

(2) ET 模式下 accept 存在的問題

考慮這種情況：多個連接同時到達(dá)，服務(wù)器的 TCP 就緒隊(duì)列瞬間積累多個就緒連接，由于是邊緣觸發(fā)模式，

epoll 只會通知一次，accept 只處理一個連接，導(dǎo)致 TCP 就緒隊(duì)列中剩下的連接都得不到處理。

解決辦法是用 while 循環(huán)抱住 accept 調(diào)用，處理完 TCP 就緒隊(duì)列中的所有連接后再退出循環(huán)。如何知道

是否處理完就緒隊(duì)列中的所有連接呢？ accept 返回 -1 并且 errno 設(shè)置為 EAGAIN 就表示所有連接都處理完。

綜合以上兩種情況，服務(wù)器應(yīng)該使用非阻塞地 accept， accept 在 ET 模式下的正確使用方式為：

C代碼

while ((conn_sock = accept(listenfd,(struct sockaddr *) &remote,
(size_t *)&addrlen)) > 0) {
handle_client(conn_sock);
}
if (conn_sock == -1) {
if (errno != EAGAIN && errno != ECONNABORTED
&& errno != EPROTO && errno != EINTR)
perror("accept");
}

一道騰訊后臺開發(fā)的面試題

使用Linux epoll模型，水平觸發(fā)模式；當(dāng)socket可寫時，會不停的觸發(fā) socket 可寫的事件，如何處理？

第一種最普遍的方式：

需要向 socket 寫數(shù)據(jù)的時候才把 socket 加入 epoll ，等待可寫事件。

接受到可寫事件后，調(diào)用 write 或者 send 發(fā)送數(shù)據(jù)。。。

當(dāng)所有數(shù)據(jù)都寫完后，把 socket 移出 epoll。

這種方式的缺點(diǎn)是，即使發(fā)送很少的數(shù)據(jù)，也要把 socket 加入 epoll，寫完后在移出 epoll，有一定操作代價。

一種改進(jìn)的方式：

開始不把 socket 加入 epoll，需要向 socket 寫數(shù)據(jù)的時候，直接調(diào)用 write 或者 send 發(fā)送數(shù)據(jù)。

如果返回 EAGAIN，把 socket 加入 epoll，在 epoll 的驅(qū)動下寫數(shù)據(jù)，全部數(shù)據(jù)發(fā)送完畢后，再移出 epoll。

這種方式的優(yōu)點(diǎn)是：數(shù)據(jù)不多的時候可以避免 epoll 的事件處理，提高效率。

最后貼一個使用epoll, ET模式的簡單HTTP服務(wù)器代碼:

[cpp] view plain copy print ?

#include <sys/socket.h>
#include <sys/wait.h>
#include <netinet/in.h>
#include <netinet/tcp.h>
#include <sys/epoll.h>
#include <sys/sendfile.h>
#include <sys/stat.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <strings.h>
#include <fcntl.h>
#include <errno.h>
#define MAX_EVENTS 10
#define PORT 8080
//設(shè)置socket連接為非阻塞模式
void setnonblocking(int sockfd) {
int opts;
opts = fcntl(sockfd, F_GETFL);
if(opts < 0) {
perror("fcntl(F_GETFL)\n");
exit(1);
}
opts = (opts | O_NONBLOCK);
if(fcntl(sockfd, F_SETFL, opts) < 0) {
perror("fcntl(F_SETFL)\n");
exit(1);
}
}
int main(){
struct epoll_event ev, events[MAX_EVENTS];
int addrlen, listenfd, conn_sock, nfds, epfd, fd, i, nread, n;
struct sockaddr_in local, remote;
char buf[BUFSIZ];
//創(chuàng)建listen socket
if( (listenfd = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
perror("sockfd\n");
exit(1);
}
setnonblocking(listenfd);
bzero(&local, sizeof(local));
local.sin_family = AF_INET;
local.sin_addr.s_addr = htonl(INADDR_ANY);;
local.sin_port = htons(PORT);
if( bind(listenfd, (struct sockaddr *) &local, sizeof(local)) < 0) {
perror("bind\n");
exit(1);
}
listen(listenfd, 20);
epfd = epoll_create(MAX_EVENTS);
if (epfd == -1) {
perror("epoll_create");
exit(EXIT_FAILURE);
}
ev.events = EPOLLIN;
ev.data.fd = listenfd;
if (epoll_ctl(epfd, EPOLL_CTL_ADD, listenfd, &ev) == -1) {
perror("epoll_ctl: listen_sock");
exit(EXIT_FAILURE);
}
for (;;) {
nfds = epoll_wait(epfd, events, MAX_EVENTS, -1);
if (nfds == -1) {
perror("epoll_pwait");
exit(EXIT_FAILURE);
}
for (i = 0; i < nfds; ++i) {
fd = events[i].data.fd;
if (fd == listenfd) {
while ((conn_sock = accept(listenfd,(struct sockaddr *) &remote,
(size_t *)&addrlen)) > 0) {
setnonblocking(conn_sock);
ev.events = EPOLLIN | EPOLLET;
ev.data.fd = conn_sock;
if (epoll_ctl(epfd, EPOLL_CTL_ADD, conn_sock,
&ev) == -1) {
perror("epoll_ctl: add");
exit(EXIT_FAILURE);
}
}
if (conn_sock == -1) {
if (errno != EAGAIN && errno != ECONNABORTED
&& errno != EPROTO && errno != EINTR)
perror("accept");
}
continue;
}
if (events[i].events & EPOLLIN) {
n = 0;
while ((nread = read(fd, buf + n, BUFSIZ-1)) > 0) {
n += nread;
}
if (nread == -1 && errno != EAGAIN) {
perror("read error");
}
ev.data.fd = fd;
ev.events = events[i].events | EPOLLOUT;
if (epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev) == -1) {
perror("epoll_ctl: mod");
}
}
if (events[i].events & EPOLLOUT) {
sprintf(buf, "HTTP/1.1 200 OK\r\nContent-Length: %d\r\n\r\nHello World", 11);
int nwrite, data_size = strlen(buf);
n = data_size;
while (n > 0) {
nwrite = write(fd, buf + data_size - n, n);
if (nwrite < n) {
if (nwrite == -1 && errno != EAGAIN) {
perror("write error");
}
break;
}
n -= nwrite;
}
close(fd);
}
}
}
return 0;
}

posted on 2013-09-13 16:28 C++技術(shù)中心閱讀(3463) 評論(1) 編輯收藏引用所屬分類: Linux 編程

Feedback

# re: epoll 的accept , read, write(重要) 2014-03-07 19:26 啊

圖呢回復(fù) 更多評論

刷新評論列表

只有注冊用戶登錄后才能發(fā)表評論。
【推薦】100%開源！大型工業(yè)跨平臺軟件C++源碼提供，建模，組態(tài)！

相關(guān)文章: 套接字read/write返回值關(guān)于linux信號總結(jié) libevent windows編譯 LVS十種調(diào)度算法介紹一個基于Event Poll(epoll)的TCP Server Framework,淺析epoll 高并發(fā)的epoll+線程池，業(yè)務(wù)在線程池內(nèi) 詳談 UNIX 環(huán)境進(jìn)程異常退出使用epoll 在 linux 上開發(fā)高性能應(yīng)用服務(wù)器 epoll 的accept , read, write(重要) Linux errno 錯誤對照表

網(wǎng)站導(dǎo)航: 博客園 IT新聞 BlogJava 博問 Chat2DB 管理

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品