1 背景:
x86平臺(tái)有完善的用戶態(tài)檢測(cè)內(nèi)存工具比如valgrind等,可以監(jiān)控程序運(yùn)行中詳細(xì)的內(nèi)存信息,從而精確定位內(nèi)存問(wèn)題。然而隨著新平臺(tái)的快速誕生(比如Tilera的TilePro64 CPU),這些工具不能被及時(shí)地移植,導(dǎo)致新平臺(tái)缺乏相應(yīng)的手段來(lái)定位內(nèi)存錯(cuò)誤,如內(nèi)存越界,泄漏等,而只能使用粗粒度的方法top,free 等指令觀察進(jìn)程的動(dòng)態(tài)內(nèi)存總額。其缺點(diǎn)是粒度太粗,而且內(nèi)存的總數(shù)變化有很多原因引起,在復(fù)雜的系統(tǒng)里,很難精確定位內(nèi)存問(wèn)題的根源,甚至?xí)﹫?bào)錯(cuò)報(bào),這嚴(yán)重影響了新平臺(tái)(如Tilera)開(kāi)發(fā)與測(cè)試的效率。針對(duì)這個(gè)問(wèn)題,我們提出了一個(gè)通用的新平臺(tái)針對(duì)c/c++內(nèi)存錯(cuò)誤檢測(cè)框架。
該框架可適用于任何平臺(tái)。其通過(guò)重寫(xiě)標(biāo)準(zhǔn)庫(kù)的內(nèi)存分配和釋放函數(shù)(如malloc, new, new[], free,delete,delete[]等), 以及維護(hù)一個(gè)全局的內(nèi)存分配map數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)。重寫(xiě)后的內(nèi)存分配比如my_malloc首先調(diào)用系統(tǒng)malloc功能,然后記錄每一次malloc執(zhí)行過(guò)程中的內(nèi)存操作信息(包括文件名、行號(hào)以及內(nèi)存尺寸,函數(shù)調(diào)用棧),以指針值為 key值,存進(jìn)維護(hù)的全局map表。而重寫(xiě)的my_free則是根據(jù)傳入的指針值在 map 中查找相應(yīng)的數(shù)據(jù)項(xiàng)并將之刪除,而后調(diào)用系統(tǒng)的free 將指針?biāo)赶虻膬?nèi)存塊釋放。這樣當(dāng)程序退出的時(shí)候,map 中的剩余的數(shù)據(jù)項(xiàng)就是我們期望檢測(cè)的內(nèi)存泄漏信息。我們可以輸出泄漏內(nèi)存塊的詳細(xì)日志,比如文件名,行號(hào)等等。這將大大提高類似Tilera平臺(tái)的內(nèi)存問(wèn)題追查效率,提高開(kāi)發(fā)和測(cè)試的速度和質(zhì)量。
2 基本原理:
1) 通過(guò)重寫(xiě)非共享內(nèi)存分配釋放函數(shù)malloc, new, new[],free,delete,delete[]截獲 它們?cè)趫?zhí)行過(guò)程中的內(nèi)存操作信息。重載形式如下:
※ void* malloc( size_t nSize, char* pszFileName, int nLineNum )
※ void* new( size_t nSize, char* pszFileName, int nLineNum )
※ void* operator new[]( size_t nSize, char* pszFileName, int nLineNum )
※ void free( void *ptr )
※ void delete( void *ptr )
※ void operator delete[]( void *ptr )
2) 通過(guò)重寫(xiě)共享內(nèi)存分配釋放函數(shù)mspace_malloc,mspace_free,重寫(xiě)形式如下:
※ void* my_mspace_malloc( mspace msp,unsigned int Size, char* pszFileName, int nLineNum )
※ void my_mspace_free(mspace msp, void *ptr )
3) 我們對(duì)malloc, new, new[],mspace_malloc進(jìn)行了重載,參數(shù)包括size_t nSize、文件名和行號(hào),這里的文件名和行號(hào)就是這次malloc, new, new[],mspace_malloc操作符被調(diào)用時(shí)所在的文件名和行號(hào),這個(gè)信息將在發(fā)現(xiàn)內(nèi)存泄漏時(shí)輸出,以幫助定位泄漏具體位置。對(duì)于 free,delete,delete[],mspace_free參數(shù)為指針地址。
3 實(shí)例:
以My_malloc, My_free為例,重寫(xiě)函數(shù)結(jié)構(gòu)如下:

1. 在重寫(xiě)的my_malloc函數(shù)版本中,我們將調(diào)用malloc 的原始版本并將相應(yīng)的 size_t 參數(shù)傳入,然后,我們將malloc的原始版本返回的指針值以及該次分配所在的文件名和行號(hào)信息記錄下來(lái),這里采用STL 的 map數(shù)據(jù)結(jié)構(gòu)存儲(chǔ),以指針值為 key 值,文件名,行號(hào)等信息作為一個(gè)結(jié)構(gòu)體是value值。
My_free重寫(xiě)函數(shù)結(jié)構(gòu)如下:

2. 當(dāng)my_free 被調(diào)用時(shí),我們根據(jù)傳入的指針值在 map 中找到相應(yīng)的數(shù)據(jù)項(xiàng)并將之刪除,而后調(diào)用 free 將指針?biāo)赶虻膬?nèi)存塊釋放。這樣當(dāng)程序退出的時(shí)候,map 中的剩余的數(shù)據(jù)項(xiàng)就是我們企圖檢測(cè)的內(nèi)存泄漏信息。
4 實(shí)現(xiàn)關(guān)鍵點(diǎn):
1) 如何取得內(nèi)存分配代碼所在的文件名和行號(hào)?
利用 C 的預(yù)編譯宏 __FILE__ 和 __LINE__,這兩個(gè)宏將在編譯時(shí)在指定位置展開(kāi)為該文件的文件名和該行的行號(hào)
2) 利用宏定義開(kāi)關(guān)決定走普通分支還是內(nèi)存檢測(cè)分支?
#if defined( MEM_DEBUG )
#define malloc DEBUG_MALLOC
#define free DEBUG_FREE
#endif
3) 何時(shí)創(chuàng)建用于存儲(chǔ)內(nèi)存數(shù)據(jù)的 map 數(shù)據(jù)結(jié)構(gòu),如何管理,何時(shí)打印內(nèi)存泄漏信息?
設(shè)計(jì)一個(gè)類來(lái)封裝這個(gè) map 以及對(duì)它的插入刪除操作,然后構(gòu)造這個(gè)類的一個(gè)全局對(duì)象(appMemory),在全局對(duì)象(appMemory)的構(gòu)造函數(shù)中創(chuàng)建并初始化這個(gè)數(shù)據(jù)結(jié) 構(gòu),而在其析構(gòu)函數(shù)中對(duì)數(shù)據(jù)結(jié)構(gòu)中剩余數(shù)據(jù)進(jìn)行分析和輸出。new 中將調(diào)用這個(gè)全局對(duì)象的 insert 接口將指針、文件名、行號(hào)、內(nèi)存塊大小等信息以指針值為 key 記錄到 map 中,在delete 中調(diào)用 erase 接口將對(duì)應(yīng)指針值的 map 中的數(shù)據(jù)項(xiàng)刪除,同時(shí)對(duì) map 的訪問(wèn)需要進(jìn)行互斥同步,因?yàn)橥粫r(shí)間可能會(huì)有多個(gè)進(jìn)程進(jìn)行堆上的內(nèi)存操作。
4) 如何為非共享內(nèi)存申請(qǐng)map?如何為共享內(nèi)存申請(qǐng)map?
非共享內(nèi)存的map,對(duì)于多進(jìn)程則有多個(gè)map,可按(3)的方法處理。而對(duì)于共享內(nèi)存,可能A進(jìn)程申請(qǐng)到B進(jìn)程才釋放,但是每個(gè)進(jìn)程一個(gè)map,我們?nèi)呙柽@些每個(gè)map時(shí)就會(huì)出現(xiàn)誤報(bào)的現(xiàn)象,因此需要采取將map放入共享內(nèi)存方法:我們申請(qǐng)一塊共享內(nèi)存區(qū)域?yàn)閙ap,這個(gè)map對(duì)各進(jìn)程是共享的。當(dāng)程序中各進(jìn)程調(diào)用共享內(nèi)存時(shí),將各進(jìn)程分配的指針及文件名行號(hào)等詳細(xì)信息存進(jìn)這共享的map。程序結(jié)束時(shí),掃描該共享的map,就能得到未釋放的信息。將 map放入共享內(nèi)存使用c++標(biāo)準(zhǔn)庫(kù)時(shí)需要我們自己實(shí)現(xiàn)一個(gè)基于共享內(nèi)存的allocator,替換map默認(rèn)的allocator,在這個(gè)allocator中實(shí)現(xiàn)map的內(nèi)存分配方案。也可以使用boost庫(kù)(1.35以上版本),它增加了一個(gè)叫做boost::interprocess的庫(kù),具體可參考http://blog.cong.co/stl-alloc.html
5) 如何使用該工具?
內(nèi)存泄露檢測(cè)框架提供接口libmemck.h,內(nèi)容如下

在被測(cè)試程序里包含如下代碼即可使用

6) 何時(shí)如何捕獲信號(hào),生成leak文件?
定義一個(gè)全局的類得對(duì)象,在該類得構(gòu)造函數(shù)里通過(guò)signal函數(shù)捕獲SIGINT、SIGABRT、SIGFPE、SIGTERM信號(hào),當(dāng)捕獲到這些信號(hào)其中之一時(shí),開(kāi)始掃描map并將map剩余信息寫(xiě)入leak文件展示。
7) 對(duì)臨界資源的控制?
共享內(nèi)存的各進(jìn)程共享的map,各進(jìn)程間進(jìn)行讀寫(xiě)操作需要加鎖,我們這里采用的是信號(hào)燈實(shí)現(xiàn)。
非共享內(nèi)存各個(gè)進(jìn)程對(duì)應(yīng)的map,在各進(jìn)程進(jìn)行插入刪除操作時(shí)也需要加鎖實(shí)現(xiàn)
8) 程序中malloc作為函數(shù)指針?
由于將原型malloc(size)重寫(xiě)為my_malloc(size,__FILE__,__LINE__),這樣由于函數(shù)類型不一致,導(dǎo)致程序調(diào)用該工具時(shí)編譯無(wú)法通過(guò),真對(duì)這種情況的解決辦法為:重寫(xiě)malloc(size)為my_malloc_p(size)這樣除了文件名和行號(hào)無(wú)法得知外,泄露的多少內(nèi)存可以報(bào)出。
轉(zhuǎn)自http://hi.baidu.com/baiduqa/blog/item/e4c991c5ef46e5c7d10060fb.html
posted on 2012-01-16 13:03
小果子 閱讀(612)
評(píng)論(0) 編輯 收藏 引用 所屬分類:
C++