gevent作為一款優(yōu)秀的網(wǎng)絡(luò)通信框架,其出色的性能得到大家一致認(rèn)可,但在處理并行任務(wù)的時候也要注意很多問題,不然您的服務(wù)器將變得異常緩慢。
http://blog.163.com/lxl_1995/blog/static/677173392012724103742746/
這篇博文講的非常清楚,建議讀一下
gevent的特點如下:
1. 單線程執(zhí)行,所有協(xié)程都在同一進程中被模擬和調(diào)度分派
2. 可以創(chuàng)建成千上萬的 協(xié)程,而不會受任何性能影響
3. 由于spawn的協(xié)程不是os分配和管理,所以不會有額外的線程資源分配,cpu也不用在這些線程之間調(diào)度切換
4. 單線程執(zhí)行,無需考慮資源互斥
5. 協(xié)程之間切換是通過gevent的io阻塞完成,例如 gevent.sleep(0), queue.get/put,event,socket....
每調(diào)用一次gevent 的api,gevent就能獲得一次schedule的機會(這很類似操作系統(tǒng)的用戶調(diào)用中斷,由用戶態(tài)切換到內(nèi)核態(tài))
以上特點保證gevent的性能非常出色,但當(dāng)我們的server用到第三方軟件包的時候那要非常小心了,特別是這些包內(nèi)部涉及了io操作。
如果第三方軟件包是純python的那很簡單,只需要gevent.monkey_patch(xxx)就okay; 但如果包是擴展clib,那要當(dāng)心了,monkey_patch
并不能將其相關(guān)io操作打上補丁,為了使用這些第三方軟件包,要求這些軟件包必須支持 協(xié)程異步 接口(調(diào)用其同步io接口,將阻塞住gevent的執(zhí)行線程,那gevent就完蛋了)。
gevent的patch對psycopg2無效,因為psycopg2的通信部分是c接口的函數(shù)庫,還好psycopg2內(nèi)部支持協(xié)程,需要使用 到
psycogreen 這個東東
psycogreen.gevent.patch_psycopg() 支持協(xié)程
之后的在gevent的線程中執(zhí)行sql并等待數(shù)據(jù)返回時,gevent立馬將執(zhí)行切換到另外的線程
gvent項目中會用到各種諸多的第三方庫,必須要求這些庫的io接口不能是阻塞的,也就是能支持到gevent異步模式
應(yīng)用邏輯代碼在被執(zhí)行時(無系統(tǒng)api呼叫),單線程比多線程執(zhí)行速度更快。循環(huán)執(zhí)行一段計算二次函數(shù)代碼,由于期間沒有系統(tǒng)api調(diào)用,os不能進行內(nèi)核tasklet切換,所以導(dǎo)致cpu的峰值可以攀升到90%,直到硬件、時鐘等中斷產(chǎn)生,強行切換到其他線程。 多核心cpu表現(xiàn)為單個核始終異常的忙碌,其他幾個比較空閑。