• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            loop_in_codes

            低調(diào)做技術(shù)__歡迎移步我的獨立博客 codemaro.com 微博 kevinlynx

            libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)

            Author : Kevin Lynx

            前言

                可以說對于任何網(wǎng)絡庫(模塊)而言,一個緩沖模塊都是必不可少的。緩沖模塊主要用于緩沖從網(wǎng)絡接收到的數(shù)據(jù),以及
            用戶提交的數(shù)據(jù)(用于發(fā)送)。很多時候,我們還需要將網(wǎng)絡模塊層(非TCP層)的這些緩沖數(shù)據(jù)拷貝到用戶層,而這些內(nèi)存拷貝
            都會消耗時間。
                在這里,我簡要分析下libevent的相關(guān)代碼(event.h和buffer.c)。

            結(jié)構(gòu)

                關(guān)于libevent的緩沖模塊,主要就是圍繞evbuffer結(jié)構(gòu)體展開。先看下evbuffer的定義:

            /*event.h*/
            struct evbuffer {
                u_char 
            *buffer;
                u_char 
            *orig_buffer; 

                size_t misalign;
                size_t totallen;
                size_t off; 

                
            void (*cb)(struct evbuffer *, size_t, size_t, void *);
                
            void *cbarg;
            }
            ;


                libevent的緩沖是一個連續(xù)的內(nèi)存區(qū)域,其處理數(shù)據(jù)的方式(寫數(shù)據(jù)和讀數(shù)據(jù))更像一個隊列操作方式:從后寫入,從前
            讀出。evbuffer分別設置相關(guān)指針(一個指標)用于指示讀出位置和寫入位置。其大致結(jié)構(gòu)如圖:

            evbuffer_str
                orig_buffer指向由realloc分配的連續(xù)內(nèi)存區(qū)域,buffer指向有效數(shù)據(jù)的內(nèi)存區(qū)域,totallen表示orig_buffer指向的內(nèi)存
            區(qū)域的大小,misalign表示buffer相對于orig_buffer的偏移,off表示有效數(shù)據(jù)的長度。

            實際運作

                這里我將結(jié)合具體的代碼分析libevent是如何操作上面那個隊列式的evbuffer的,先看一些輔助函數(shù):

            evbuffer_drain:
                該函數(shù)主要操作一些指標,當每次從evbuffer里讀取數(shù)據(jù)時,libevent便會將buffer指針后移,同時增大misalign,減小off,
            而該函數(shù)正是做這件事的。說白了,該函數(shù)就是用于調(diào)整緩沖隊列的前向指標。

            evbuffer_expand:
                該函數(shù)用于擴充evbuffer的容量。每次向evbuffer寫數(shù)據(jù)時,都是將數(shù)據(jù)寫到buffer+off后,buffer到buffer+off之間已被
            使用,保存的是有效數(shù)據(jù),而orig_buffer和buffer之間則是因為讀取數(shù)據(jù)移動指標而形成的無效區(qū)域。
                evbuffer_expand的擴充策略在于,首先判斷如果讓出orig_buffer和buffer之間的空閑區(qū)域是否可以容納添加的數(shù)據(jù),如果
            可以,則移動buffer和buffer+off之間的數(shù)據(jù)到orig_buffer和orig_buffer+off之間(有可能發(fā)生內(nèi)存重疊,所以這里移動調(diào)用的
            是memmove),然后把新的數(shù)據(jù)拷貝到orig_buffer+off之后;如果不可以容納,那么重新分配更大的空間(realloc),同樣會移動
            數(shù)據(jù)。
                擴充內(nèi)存的策略為:確保新的內(nèi)存區(qū)域最小尺寸為256,且以乘以2的方式逐步擴大(256、512、1024、...)。

                了解了以上兩個函數(shù),看其他函數(shù)就比較簡單了。可以看看具體的讀數(shù)據(jù)和寫數(shù)據(jù):

            evbuffer_add:
                該函數(shù)用于添加一段用戶數(shù)據(jù)到evbuffer中。很簡單,就是先判斷是否有足夠的空閑內(nèi)存,如果沒有則調(diào)用evbuffer_expand
            擴充之,然后直接memcpy,更新off指標。

            evbuffer_remove:
                該函數(shù)用于將evbuffer中的數(shù)據(jù)復制給用戶空間(讀數(shù)據(jù))。簡單地將數(shù)據(jù)memcpy,然后調(diào)用evbuffer_drain移動相關(guān)指標。

            其他

                回過頭看看libevent的evbuffer其實是非常簡單的(跟我那個kl_net里的buffer一樣),不知道其他人有沒有更優(yōu)的緩沖管理
            方案。evbuffer還提供了兩個函數(shù):evbuffer_write和evbuffer_read,用于直接在套接字(其他文件描述符)上寫/讀數(shù)據(jù)。

                另外,關(guān)于libevent,因為官方提供的VC工程文件有問題,很多人在windows下編譯不過。金慶曾提供過一種方法。其實主要
            就是修改event-config.h文件,修改編譯相關(guān)配置。這里我也提供一個解決步驟,順便提供完整包下載:

            1. vs2005打開libevent.dsw,轉(zhuǎn)換四個工程(event_test, libevent, signal_test, time_test)
            2. 刪除libevent項目中所有的文件,重新添加文件,文件列表如下:
               buffer.c
               evbuffer.c
               evdns.c
               evdns.h
               event.c
               event.h
               event_tagging.c
               event-config.h
               event-internal.h
               evhttp.h
               evrpc.h
               evrpc.c
               evrpc-internal.h
               evsignal.h
               evutil.c
               evutil.h
               http.c
               http-internal.h
               log.c
               log.h
               min_heap.h
               strlcpy.c
               strlcpy-internal.h
               tree.h
               win32.c
               config.h
               signal.c
            3. 替換event-config.h,使用libevent-iocp中的
            4. 項目設置里添加HAVE_CONFIG_H預處理宏
            5. 修改win32.c中win32_init函數(shù),加入WSAStartup函數(shù),類似于:
                   WSADATA wd;   
                    int err;
                    struct win32op *winop;
                    size_t size;
                    if( ( err = WSAStartup( MAKEWORD( 2, 2 ), &wd ) ) != 0 )
                        event_err( 1, "winsock startup failed : %d", err );
            6. 修改win32.c中win32_dealloc函數(shù),在函數(shù)末尾加上WSACleanup的調(diào)用:
                    WSACleanup();
            6. 至此libevent編譯成功;
            7. 幾個例子程序,只需要加入HAVE_CONFIG_H預處理宏,以及連接ws2_32.lib即可;
               (time_test需要修改time-test.c文件,即在包含event.h前包含windows.h)

            libevent-1.4.5-stable-vs2005.zip下載

             

            posted on 2008-07-16 14:28 Kevin Lynx 閱讀(9541) 評論(14)  編輯 收藏 引用 所屬分類: 通用編程network

            評論

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-07-16 15:09 true

            寫的好!  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-12 10:32 白云哥

            這個libevent的vs2005包很好,謝謝

            自己偷懶了一把 :)  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-25 21:25 weber

            寫得不錯,正在做基于libevent的項目, 一起交流. qq群:64559783  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-10-23 18:07 浪跡天涯

            libevent用于改造網(wǎng)絡模型需要了解哪些知識?  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2008-10-23 20:43 Kevin Lynx

            @浪跡天涯
            改造網(wǎng)絡模型?不清楚。我只知道使用別人的庫。- -|  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-12-09 18:42 vcclass

            不錯,分析的很好,很實用。libevent相對于ACE來說輕量級多了,ACE 學習曲線比較陡峭,不建議初學者學習。libevent里面還是有很多東西值得借鑒的。
            ACE用了很多設計模式的思想來封裝,如果對設計模式趕興趣的話可以研究,否則實際意義不是很大。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-28 20:06 小馬

            新手請教 evbuffer用在什么地方了 libevent是事件響應模型 但是具體事件處理還是要使用者自己的代碼來實現(xiàn)的 不是么  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-28 22:41 Kevin Lynx

            @小馬
            在我印象里,evbuffer用于緩存邏輯層(即l基于libevent那一層)將要發(fā)送的數(shù)據(jù),以及緩存從設備(fd)里讀取出的數(shù)據(jù)。
              回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-30 17:08 小馬

            @Kevin Lynx
            是不是這樣 libevent代碼里本身沒有用到evbuffer 只是我們在用libevent開發(fā)自己的應用的時候可以使用evbuffer ?  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-30 21:40 Kevin Lynx

            @小馬
            為什么你不打開libevent的源代碼搜索下evbuffer呢??  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-06-26 21:11 taozzee

            請問 libevent 中類型 struct event_list 在哪定義的呢??

            在VC6下編譯通不過啊。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2010-05-24 09:09 周江濤

            寫的好,表達能力強,分析透徹!  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2011-05-07 21:49 dourgulf

            其實,這個buffer管理方法效率很差了,涉及很多內(nèi)存的移動。
            其實,很多socket I/O都提供了buffer數(shù)組的發(fā)送方式,使用這種方式高效而且簡單。最新的libevent已經(jīng)放棄了LZ說的這個buffer管理方法了。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2014-05-19 15:53 coderchen

            @dourgulf
            現(xiàn)在libevent的buffer應該是多個內(nèi)存塊組成的chain,但是由于內(nèi)存不連續(xù),作為接收緩沖區(qū)反序列化的時候,還要多拷貝一次數(shù)據(jù)。  回復  更多評論   

            国产精品久久久久久| 无码人妻久久一区二区三区免费 | 亚洲日本久久久午夜精品| 久久久精品一区二区三区| 久久天天躁狠狠躁夜夜网站| 综合久久一区二区三区| 亚洲精品国产第一综合99久久| 色婷婷噜噜久久国产精品12p| 国产aⅴ激情无码久久| 久久婷婷久久一区二区三区 | 久久精品国产亚洲AV不卡| 精品国产乱码久久久久久1区2区| 精品久久国产一区二区三区香蕉| 97精品伊人久久久大香线蕉| 久久久久国色AV免费观看| 91精品国产综合久久婷婷| 亚洲日本久久久午夜精品| 97久久精品午夜一区二区| 国内精品人妻无码久久久影院导航| 久久综合狠狠色综合伊人| 久久天天躁狠狠躁夜夜网站| 伊人久久亚洲综合影院| 一本色道久久88加勒比—综合| 伊人久久大香线蕉AV色婷婷色| 久久综合给合综合久久| 国产高清国内精品福利99久久| 91视频国产91久久久| 久久99精品国产自在现线小黄鸭 | 久久这里只有精品18| 久久综合亚洲色HEZYO社区| 日韩十八禁一区二区久久| 一级做a爰片久久毛片16| 伊人丁香狠狠色综合久久| 国产精品久久久久久吹潮| 久久夜色精品国产噜噜亚洲AV| 伊人久久精品无码av一区| 久久婷婷午色综合夜啪| 久久亚洲sm情趣捆绑调教 | 亚洲AⅤ优女AV综合久久久| 久久久精品波多野结衣| 欧美日韩精品久久久久|