昨天優(yōu)化了一下服務(wù)器的網(wǎng)絡(luò)部分,測試了一下,在不考慮吞吐率的情況下,并發(fā)5W
下面是俺的一些經(jīng)驗(yàn)
1.基本結(jié)構(gòu)
服務(wù)器結(jié)構(gòu)如下圖
使用2個(gè)不同的線程池來分別來處理 網(wǎng)絡(luò)數(shù)據(jù)包的發(fā)送接收 以及 消息的處理.
這樣可以避免繁重的業(yè)務(wù)處理導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)包接收的阻塞.
根據(jù)服務(wù)器CPU情況創(chuàng)建線程. 服務(wù)器是2*4核心. 即雙CPU, 每CPU上有4個(gè)核心.
在邏輯上就有8個(gè)處理單元.
在第1個(gè)CPU上的每個(gè)核心上創(chuàng)建x個(gè)線程用于發(fā)送和接收.
即: 發(fā)送接收線程池有線程數(shù) x*4個(gè),位于第1個(gè)CPU上.
在第2個(gè)CPU上的每個(gè)核心上創(chuàng)建y個(gè)線程,用于業(yè)務(wù)處理
即: 業(yè)務(wù)處理線程池有線程數(shù) y*4個(gè),位于第2個(gè)CPU上
具體的x,y應(yīng)該按照實(shí)際的系統(tǒng)設(shè)置.設(shè)置的原則是:
1. 盡量小的線程上下文切換開銷
2. 盡量高的CPU利用率(注意,是利用率,不是占用率)
一般來說,y>x
BOOL?WINAPI?SetProcessAffinityMask(
??__in??????????HANDLE?hProcess,
??__in??????????DWORD_PTR?dwProcessAffinityMask
);
//
?此API用于設(shè)置進(jìn)程的CPU親緣屬性,第2個(gè)參數(shù)是"位或"表示.?對(duì)于2*4核系統(tǒng),則設(shè)置位0xFF
DWORD_PTR?WINAPI?SetThreadAffinityMask(
??__in??????????HANDLE?hThread,
??__in??????????DWORD_PTR?dwThreadAffinityMask
);
//
?此API用于設(shè)置線程的CPU親緣屬性,第2個(gè)參數(shù)是"位或"表示.?需要注意的是,dwThreadAffinityMask必須是dwProcessAffinityMask的子集
DWORD?WINAPI?SetThreadIdealProcessor(
??__in??????????HANDLE?hThread,
??__in??????????DWORD?dwIdealProcessor
);
//
?此API用于設(shè)置線程的首選CPU,操作系統(tǒng)在調(diào)度線程時(shí)優(yōu)先考慮首選核心,?第2個(gè)參數(shù)是以0為基數(shù)的處理器ID
上述3個(gè)API都可以用來設(shè)置線程的執(zhí)行單元是哪個(gè). 一般來說,線程調(diào)度是由操作系統(tǒng)負(fù)責(zé).人為的控制有時(shí)候反而會(huì)降低效率.但針對(duì)高負(fù)荷的線程處理,完全可以指定獨(dú)立的CPU來優(yōu)化.
比如,設(shè)定dwThreadAffinityMask=0xF,表示此線程在1-4核上執(zhí)行,具體是哪個(gè)核還是由操作系統(tǒng)調(diào)度.這樣可以將不同用途的線程分配到不同的CPU上,因?yàn)槊總€(gè)CPU有自己獨(dú)立的L2 Cache,這樣做可以避免不同類型線程在不同CPU之間切換帶來的損失.
參考: 面向共享高速緩存多核系統(tǒng)的軟件技術(shù)
上面所說的這些都只是理論,到實(shí)際的系統(tǒng)中,必須經(jīng)過反復(fù)的性能對(duì)比試驗(yàn)來確定最佳方案
2. 登陸數(shù)據(jù)的接收
在IOCP中,經(jīng)常使用AcceptEx來投遞前置式的accept請求. 這里有一個(gè)問題: 登陸數(shù)據(jù)如何接收?
一般來說,登陸數(shù)據(jù)包是連接后的第1個(gè)或者第2個(gè)數(shù)據(jù)包.必須先保證一個(gè)TCP連接是信任的才能進(jìn)行業(yè)務(wù)處理.有下列方法
方法1:
如果登陸數(shù)據(jù)包是第一個(gè)客戶端發(fā)送的數(shù)據(jù)包,那么AcceptEx的dwReceiveDataLength 可以設(shè)置成登陸數(shù)據(jù)包大小,AcceptEx只有在收到此數(shù)據(jù)包后才投遞到完成隊(duì)列進(jìn)行驗(yàn)證
方法2:
AcceptEx的dwReceiveDataLength 設(shè)置成0,表示在接收到連接后立即投遞到完成隊(duì)列.在完成隊(duì)列中,投遞WSARecv獲得登陸數(shù)據(jù)包
方法3:
AcceptEx的dwReceiveDataLength 設(shè)置成0,表示在接收到連接后立即投遞到完成隊(duì)列.在Accept時(shí),使用阻塞的recv來接收登陸數(shù)據(jù)包,如果recv超時(shí),則踢掉連接
這3種方式?jīng)]有哪種能夠徹底的解決D.O.S的問題,只能在一定程度上緩解.
方法1:客戶端只連接不發(fā)送數(shù)據(jù),大量的這種連接會(huì)導(dǎo)致拒絕服務(wù)(一般采用附加線程定時(shí)檢測超時(shí))
方法2:客戶端只連接不發(fā)送數(shù)據(jù),大量的這種連接會(huì)導(dǎo)致拒絕服務(wù)(一般采用附加線程定時(shí)檢測超時(shí))
方法3:recv的超時(shí)時(shí)間設(shè)置很敏感,過大的超時(shí)時(shí)間同樣會(huì)因?yàn)榇罅窟B接而拒絕服務(wù)(recv超時(shí)時(shí)間設(shè)定得如果合適是能夠在一定程度上緩解)
3. 設(shè)置LINGER縮短連接關(guān)閉時(shí)間
//
?éè??SO_DONTLINGER
BOOL?bDontLinger?
=
?FALSE;
::setsockopt(?lpWsaOverlappedPlus
->
hSocket
????,?SOL_SOCKET
????,?SO_DONTLINGER
????,?(
const
?
char
*
)
&
bDontLinger
????,?sizeof(BOOL)
????);
//
?éè??SO_LINGER
linger?stLinger;
stLinger.l_onoff?
=
?
1
;
stLinger.l_linger?
=
?
0
;
::setsockopt(?lpWsaOverlappedPlus
->
hSocket
????,?SOL_SOCKET
????,?SO_LINGER
????,?(CHAR
*
)
&
stLinger
????,?sizeof(linger)
????);
4. 修改注冊表,修改TCP參數(shù),具體的含義可以查閱MSDN
Windows?Registry?Editor?Version?
5.00
[
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Performance
]
"
MaxUserPort
"
=
dword:0000fffe
[
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters
]
"
TCPFinWait2Delay?
"
=
dword:0000001e
"
SynAttackProtect
"
=
dword:
1
?
"
TcpMaxPortsExhausted
"
=
dword:
5
?
"
TcpMaxHalfOpen
"
=
dword:
500
?
"
TcpMaxHalfOpenRetried
"
=
dword:
400
?
"
TcpMaxConnectResponseRetransmissions
"
=
dword:
2
?
"
TcpMaxDataRetransmissions
"
=
dword:
2
?
"
EnablePMTUDiscovery
"
=
dword:
0
?
"
KeepAliveTime
"
=
dword:
300000
?
"
NoNameReleaseOnDemand
"
=
dword:
1
?
"
DefaultTTL
"
=
dword:
256
?
"
EnableDeadGWDetect
"
=
dword:
0
?
"
DisableIPSourceRouting
"
=
dword:
1
?
"
EnableFragmentChecking
"
=
dword:
1
?
"
EnableMulticastForwarding
"
=
dword:
0
?
"
IPEnableRouter
"
=
dword:
0
?
"
EnableAddrMaskReply
"
=
dword:
0
?
"
TcpTimedWaitDelay
"
=
dword:0000001e
[
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\AFD\Parameters
]
?
"
EnableICMPRedirect
"
=
dword:
0
?
"
EnableDynamicBacklog
"
=
dword:
1
?
"
MinimumDynamicBacklog
"
=
dword:
20
?
"
MaximumDynamicBacklog
"
=
dword:
20000
?
"
DynamicBacklogGrowthDelta
"
=
dword:
10
?