• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Just enjoy programming

            Nginx的內存池實現(xiàn)(轉載)

            來源:http://www.tbdata.org/archives/1390#more-1390


            Nginx的內存池實現(xiàn)得很精巧,代碼也很簡潔。總的來說,所有的內存池基本都一個宗旨:申請大塊內存,避免“細水長流”。

            一、創(chuàng)建一個內存池

            nginx內存池主要有下面兩個結構來維護,他們分別維護了內存池的頭部和數(shù)據部。此處數(shù)據部就是供用戶分配小塊內存的地方。

            //該結構用來維護內存池的數(shù)據塊,供用戶分配之用。
            typedef struct {
            u_char *last; //當前內存分配結束位置,即下一段可分配內存的起始位置
            u_char *end; //內存池結束位置
            ngx_pool_t *next; //鏈接到下一個內存池
            ngx_uint_t failed; //統(tǒng)計該內存池不能滿足分配請求的次數(shù)
            } ngx_pool_data_t;
            //該結構維護整個內存池的頭部信息。
            struct ngx_pool_s {
            ngx_pool_data_t d; //數(shù)據塊
            size_t max; //數(shù)據塊的大小,即小塊內存的最大值
            ngx_pool_t *current; //保存當前內存池
            ngx_chain_t *chain; //可以掛一個chain結構
            ngx_pool_large_t *large; //分配大塊內存用,即超過max的內存請求
            ngx_pool_cleanup_t *cleanup; //掛載一些內存池釋放的時候,同時釋放的資源。
            ngx_log_t *log;
            };


            有了上面的兩個結構,就可以創(chuàng)建一個內存池了,nginx用來創(chuàng)建一個內存池的接口是:ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)(位于src/core/ngx_palloc.c中);調用這個函數(shù)就可以創(chuàng)建一個大小為size的內存池了。這里,我用內存池的結構圖來展 示,就不做具體的代碼分析了。

            ngx_create_pool接口函數(shù)就是分配上圖這樣的一大塊內存,然后初始化好各個頭部字段(上圖中的彩色部分)。紅色表示的四個字段就是來自于上 述的第一個結構,維護數(shù)據部分,由圖可知:last是用戶從內存池分配新內存的開始位置,end是這塊內存池的結束位置,所有分配的內存都不能超過 end。藍色表示的max字段的值等于整個數(shù)據部分的長度,用戶請求的內存大于max時,就認為用戶請求的是一個大內存,此時需要在紫色表示的large 字段下面單獨分配;用戶請求的內存不大于max的話,就是小內存申請,直接在數(shù)據部分分配,此時將會移動last指針。

            二、分配小塊內存(size <= max)

            上面創(chuàng)建好了一個可用的內存池了,也提到了小塊內存的分配問題。nginx提供給用戶使用的內存分配接口有:
            void *ngx_palloc(ngx_pool_t *pool, size_t size);
            void *ngx_pnalloc(ngx_pool_t *pool, size_t size);
            void *ngx_pcalloc(ngx_pool_t *pool, size_t size);
            void *ngx_pmemalign(ngx_pool_t *pool, size_t size, size_t alignment);

            ngx_palloc和ngx_pnalloc都是從內存池里分配size大小內存,至于分得的是小塊內存還是大塊內存,將取決于size的大小; 他們的不同之處在于,palloc取得的內存是對齊的,pnalloc則否。ngx_pcalloc是直接調用palloc分配好內存,然后進行一次0初 始化操作。ngx_pmemalign將在分配size大小的內存并按alignment對齊,然后掛到large字段下,當做大塊內存處理。下面用圖形 展示一下分配小塊內存的模型:

            上圖這個內存池模型是由上3個小內存池構成的,由于第一個內存池上剩余的內存不夠分配了,于是就創(chuàng)建了第二個新的內存池,第三個內存池是由于前面兩個內存 池的剩余部分都不夠分配,所以創(chuàng)建了第三個內存池來滿足用戶的需求。由圖可見:所有的小內存池是由一個單向鏈表維護在一起的。這里還有兩個字段需要關 注,failed和current字段。failed表示的是當前這個內存池的剩余可用內存不能滿足用戶分配請求的次數(shù),即是說:一個分配請求到來后,在 這個內存池上分配不到想要的內存,那么就failed就會增加1;這個分配請求將會遞交給下一個內存池去處理,如果下一個內存池也不能滿足,那么它的 failed也會加1,然后將請求繼續(xù)往下傳遞,直到滿足請求為止(如果沒有現(xiàn)成的內存池來滿足,會再創(chuàng)建一個新的內存池)。current字段會隨著 failed的增加而發(fā)生改變,如果current指向的內存池的failed達到了4的話,current就指向下一個內存池了。猜測:4這個值應該是 作者的經驗值,或者是一個統(tǒng)計值。

            三、大塊內存的分配(size > max)

            大塊內存的分配請求不會直接在內存池上分配內存來滿足,而是直接向操作系統(tǒng)申請這么一塊內存(就像直接使用malloc分配內存一樣),然后將這塊 內存掛到內存池頭部的large字段下。內存池的作用在于解決小塊內存池的頻繁申請問題,對于這種大塊內存,是可以忍受直接申請的。同樣,用圖形展示大塊 內存申請模型:

            注意每塊大內存都對應有一個頭部結構(next&alloc),這個頭部結構是用來將所有大內存串成一個鏈表用的。這個頭部結構不是直接向操作系 統(tǒng)申請的,而是當做小塊內存(頭部結構沒幾個字節(jié))直接在內存池里申請的。這樣的大塊內存在使用完后,可能需要第一時間釋放,節(jié)省內存空間,因此 nginx提供了接口函數(shù):ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p);此函數(shù)專門用來釋放某個內存池上的某個大塊內存,p就是大內存的地址。ngx_pfree只會釋放大內存,不會釋放其對應的頭部結構,畢竟頭部結 構是當做小內存在內存池里申請的;遺留下來的頭部結構會作下一次申請大內存之用。

            四、cleanup資源


            可以看到所有掛載在內存池上的資源將形成一個循環(huán)鏈表,一路走來,發(fā)現(xiàn)鏈表這種看似簡單的數(shù)據結構卻被頻繁使用。由圖可知,每個需要清理的資源都對應有一 個頭部結構,這個結構中有一個關鍵的字段handler,handler是一個函數(shù)指針,在掛載一個資源到內存池上的時候,同時也會注冊一個清理資源的函 數(shù)到這個handler上。即是說,內存池在清理cleanup的時候,就是調用這個handler來清理對應的資源。比如:我們可以將一個開打的文件描 述符作為資源掛載到內存池上,同時提供一個關閉文件描述的函數(shù)注冊到handler上,那么內存池在釋放的時候,就會調用我們提供的關閉文件函數(shù)來處理文 件描述符資源了。

            五、內存的釋放

            nginx只提供給了用戶申請內存的接口,卻沒有釋放內存的接口,那么nginx是如何完成內存釋放的呢?總不能一直申請,用不釋放啊。針對這個問 題,nginx利用了web server應用的特殊場景來完成;一個web server總是不停的接受connection和request,所以nginx就將內存池分了不同的等級,有進程級的內存池、connection級 的內存池、request級的內存池。也就是說,創(chuàng)建好一個worker進程的時候,同時為這個worker進程創(chuàng)建一個內存池,待有新的連接到來后,就 在worker進程的內存池上為該連接創(chuàng)建起一個內存池;連接上到來一個request后,又在連接的內存池上為request創(chuàng)建起一個內存池。這樣, 在request被處理完后,就會釋放request的整個內存池,連接斷開后,就會釋放連接的內存池。因而,就保證了內存有分配也有釋放。

            總結:通過內存的分配和釋放可以看出,nginx只是將小塊內存的申請聚集到一起申請,然后一起釋放。避免了頻繁申請小內存,降低內存碎片的產生等問題

            posted on 2011-06-15 16:27 周強 閱讀(550) 評論(0)  編輯 收藏 引用 所屬分類: nginx

            亚洲AV无码久久| 欧美成人免费观看久久| 大伊人青草狠狠久久| av午夜福利一片免费看久久| 婷婷综合久久狠狠色99h| 色综合色天天久久婷婷基地| 久久久久99精品成人片牛牛影视| 久久久国产打桩机| 精品久久久无码中文字幕| 精品国产99久久久久久麻豆| 成人亚洲欧美久久久久| 亚洲国产精品无码久久SM| 韩国三级中文字幕hd久久精品| 一本色道久久88—综合亚洲精品| 久久国产精品久久久| 久久久久久国产a免费观看黄色大片 | 伊人久久精品无码二区麻豆| 久久亚洲国产精品一区二区| 久久久久久久久66精品片| 91亚洲国产成人久久精品网址| 亚洲AV日韩AV天堂久久| 欧美午夜A∨大片久久| 91精品国产高清久久久久久io | 成人国内精品久久久久影院VR| 一本色道久久88精品综合| 一级做a爰片久久毛片毛片| 亚洲国产精品婷婷久久| 国产午夜精品久久久久免费视| 久久综合久久综合亚洲| 久久天天日天天操综合伊人av| 亚洲一区中文字幕久久| 久久99中文字幕久久| 狠狠色丁香婷婷综合久久来| 亚洲国产精品无码久久久秋霞2| yy6080久久| 午夜精品久久久久| 欧美成人免费观看久久| 青青热久久国产久精品| 一本色道久久88综合日韩精品| 久久午夜福利电影| 久久亚洲精品成人无码网站|