(一)線程數(shù)量與線程池模型
參見:high-performance server design
. http://pl.atyp.us/content/tech/servers.html 頻繁的上下文切換,會(huì)導(dǎo)致系統(tǒng)性能嚴(yán)重下降,而產(chǎn)生過多的切換大致有兩個(gè)原因:
1)過多的線程數(shù)量。這會(huì)使系統(tǒng)性能呈指數(shù)級(jí)的下降。對(duì)于每連接一個(gè)線程的系統(tǒng)而言,這也是為什么性能會(huì)變差的原因。一個(gè)具有可伸縮性的系統(tǒng),它的唯一可行的選擇,就是限制運(yùn)行線程的數(shù)量。一般而言,這個(gè)值應(yīng)該小于或等于處理器的數(shù)目。(說明,在boost網(wǎng)絡(luò)庫asio提供的example中,有一個(gè)關(guān)于這種實(shí)現(xiàn)的很好的例子)
2)所使用的線程池及事件模型。最簡單的一種模型通常是這個(gè)樣子:一個(gè)偵聽線程異步地接收請求,并在隊(duì)列中進(jìn)行緩沖。另外一組工作者線程則負(fù)責(zé)處理這些請求。這是一個(gè)不錯(cuò)的模型,缺點(diǎn)就是每處理一個(gè)請求一般要經(jīng)過兩次線程切換(加上對(duì)請求的回復(fù))。為了避免這種缺點(diǎn),一個(gè)線程就必須具備偵聽者和工作者兩種角色,可以采用稱之謂“領(lǐng)導(dǎo)者/跟隨者”的模型。一個(gè)線程作為領(lǐng)導(dǎo)者,來進(jìn)行監(jiān)聽,當(dāng)收到請求時(shí),它選出一個(gè)跟隨者線程作為新的領(lǐng)導(dǎo)者進(jìn)行偵聽,自己則對(duì)請求進(jìn)行處理,結(jié)束后,到跟隨者隊(duì)列中進(jìn)行等待。
(二)多線程的內(nèi)存池優(yōu)化
普通的內(nèi)存池一旦應(yīng)用到多線程中,都面臨著鎖競爭的問題,在stlport所做的對(duì)于字符串性能的測試中,當(dāng)使用兩個(gè)線程時(shí),它所使用的內(nèi)存池node_allocator性能已經(jīng)出現(xiàn)明顯的下降。所以對(duì)于多線程而言,一個(gè)線程一個(gè)內(nèi)存池是一個(gè)很好的選擇。要實(shí)現(xiàn)這種設(shè)計(jì),面臨的第一個(gè)問題,是內(nèi)存塊的跨線程使用問題,即一個(gè)內(nèi)存塊,可能在A線程中申請,但可能在B線程中釋放。
在GCC的STL實(shí)現(xiàn)libstdc++中,有一個(gè)多線程內(nèi)存池的實(shí)現(xiàn)(mt_allocator)。它是node_allocator(現(xiàn)在叫pool_allocator) 的多線程版本。它還有一個(gè)優(yōu)點(diǎn)就是所有參數(shù)都是可配置的。
它的設(shè)計(jì)思路如下:每個(gè)線程一個(gè)內(nèi)存池,同時(shí)還有一個(gè)全局的內(nèi)存池。每個(gè)線程可以訪問自己的內(nèi)存池,同時(shí)可在鎖保護(hù)下訪問全局內(nèi)存池。申請的每一個(gè)內(nèi)存塊中,都有一個(gè)線程ID,以標(biāo)明是從哪個(gè)線程中申請的。
申請過程:首先向所在線程申請,若本線程沒有空閑塊,則向全局內(nèi)存池申請。
釋放過程:直接歸還到本線程的空閑鏈中。還有一個(gè)問題,為了防止線程內(nèi)存池之間的不均衡,或者某一個(gè)線程中的空閑鏈過長,可以設(shè)置一個(gè)水位標(biāo),當(dāng)超過這個(gè)水位標(biāo)時(shí),把釋放的內(nèi)存直接歸還到全局內(nèi)存池中。