1 背景:
x86平臺有完善的用戶態(tài)檢測內(nèi)存工具比如valgrind等,可以監(jiān)控程序運行中詳細(xì)的內(nèi)存信息,從而精確定位內(nèi)存問題。然而隨著新平臺的快速誕生(比如Tilera的TilePro64 CPU),這些工具不能被及時地移植,導(dǎo)致新平臺缺乏相應(yīng)的手段來定位內(nèi)存錯誤,如內(nèi)存越界,泄漏等,而只能使用粗粒度的方法top,free 等指令觀察進(jìn)程的動態(tài)內(nèi)存總額。其缺點是粒度太粗,而且內(nèi)存的總數(shù)變化有很多原因引起,在復(fù)雜的系統(tǒng)里,很難精確定位內(nèi)存問題的根源,甚至?xí)﹫箦e報,這嚴(yán)重影響了新平臺(如Tilera)開發(fā)與測試的效率。針對這個問題,我們提出了一個通用的新平臺針對c/c++內(nèi)存錯誤檢測框架。
該框架可適用于任何平臺。其通過重寫標(biāo)準(zhǔn)庫的內(nèi)存分配和釋放函數(shù)(如malloc, new, new[], free,delete,delete[]等), 以及維護(hù)一個全局的內(nèi)存分配map數(shù)據(jù)結(jié)構(gòu)實現(xiàn)。重寫后的內(nèi)存分配比如my_malloc首先調(diào)用系統(tǒng)malloc功能,然后記錄每一次malloc執(zhí)行過程中的內(nèi)存操作信息(包括文件名、行號以及內(nèi)存尺寸,函數(shù)調(diào)用棧),以指針值為 key值,存進(jìn)維護(hù)的全局map表。而重寫的my_free則是根據(jù)傳入的指針值在 map 中查找相應(yīng)的數(shù)據(jù)項并將之刪除,而后調(diào)用系統(tǒng)的free 將指針?biāo)赶虻膬?nèi)存塊釋放。這樣當(dāng)程序退出的時候,map 中的剩余的數(shù)據(jù)項就是我們期望檢測的內(nèi)存泄漏信息。我們可以輸出泄漏內(nèi)存塊的詳細(xì)日志,比如文件名,行號等等。這將大大提高類似Tilera平臺的內(nèi)存問題追查效率,提高開發(fā)和測試的速度和質(zhì)量。
2 基本原理:
1) 通過重寫非共享內(nèi)存分配釋放函數(shù)malloc, new, new[],free,delete,delete[]截獲 它們在執(zhí)行過程中的內(nèi)存操作信息。重載形式如下:
※ void* malloc( size_t nSize, char* pszFileName, int nLineNum )
※ void* new( size_t nSize, char* pszFileName, int nLineNum )
※ void* operator new[]( size_t nSize, char* pszFileName, int nLineNum )
※ void free( void *ptr )
※ void delete( void *ptr )
※ void operator delete[]( void *ptr )
2) 通過重寫共享內(nèi)存分配釋放函數(shù)mspace_malloc,mspace_free,重寫形式如下:
※ void* my_mspace_malloc( mspace msp,unsigned int Size, char* pszFileName, int nLineNum )
※ void my_mspace_free(mspace msp, void *ptr )
3) 我們對malloc, new, new[],mspace_malloc進(jìn)行了重載,參數(shù)包括size_t nSize、文件名和行號,這里的文件名和行號就是這次malloc, new, new[],mspace_malloc操作符被調(diào)用時所在的文件名和行號,這個信息將在發(fā)現(xiàn)內(nèi)存泄漏時輸出,以幫助定位泄漏具體位置。對于 free,delete,delete[],mspace_free參數(shù)為指針地址。
3 實例:
以My_malloc, My_free為例,重寫函數(shù)結(jié)構(gòu)如下:

1. 在重寫的my_malloc函數(shù)版本中,我們將調(diào)用malloc 的原始版本并將相應(yīng)的 size_t 參數(shù)傳入,然后,我們將malloc的原始版本返回的指針值以及該次分配所在的文件名和行號信息記錄下來,這里采用STL 的 map數(shù)據(jù)結(jié)構(gòu)存儲,以指針值為 key 值,文件名,行號等信息作為一個結(jié)構(gòu)體是value值。
My_free重寫函數(shù)結(jié)構(gòu)如下:

2. 當(dāng)my_free 被調(diào)用時,我們根據(jù)傳入的指針值在 map 中找到相應(yīng)的數(shù)據(jù)項并將之刪除,而后調(diào)用 free 將指針?biāo)赶虻膬?nèi)存塊釋放。這樣當(dāng)程序退出的時候,map 中的剩余的數(shù)據(jù)項就是我們企圖檢測的內(nèi)存泄漏信息。
4 實現(xiàn)關(guān)鍵點:
1) 如何取得內(nèi)存分配代碼所在的文件名和行號?
利用 C 的預(yù)編譯宏 __FILE__ 和 __LINE__,這兩個宏將在編譯時在指定位置展開為該文件的文件名和該行的行號
2) 利用宏定義開關(guān)決定走普通分支還是內(nèi)存檢測分支?
#if defined( MEM_DEBUG )
#define malloc DEBUG_MALLOC
#define free DEBUG_FREE
#endif
3) 何時創(chuàng)建用于存儲內(nèi)存數(shù)據(jù)的 map 數(shù)據(jù)結(jié)構(gòu),如何管理,何時打印內(nèi)存泄漏信息?
設(shè)計一個類來封裝這個 map 以及對它的插入刪除操作,然后構(gòu)造這個類的一個全局對象(appMemory),在全局對象(appMemory)的構(gòu)造函數(shù)中創(chuàng)建并初始化這個數(shù)據(jù)結(jié) 構(gòu),而在其析構(gòu)函數(shù)中對數(shù)據(jù)結(jié)構(gòu)中剩余數(shù)據(jù)進(jìn)行分析和輸出。new 中將調(diào)用這個全局對象的 insert 接口將指針、文件名、行號、內(nèi)存塊大小等信息以指針值為 key 記錄到 map 中,在delete 中調(diào)用 erase 接口將對應(yīng)指針值的 map 中的數(shù)據(jù)項刪除,同時對 map 的訪問需要進(jìn)行互斥同步,因為同一時間可能會有多個進(jìn)程進(jìn)行堆上的內(nèi)存操作。
4) 如何為非共享內(nèi)存申請map?如何為共享內(nèi)存申請map?
非共享內(nèi)存的map,對于多進(jìn)程則有多個map,可按(3)的方法處理。而對于共享內(nèi)存,可能A進(jìn)程申請到B進(jìn)程才釋放,但是每個進(jìn)程一個map,我們?nèi)呙柽@些每個map時就會出現(xiàn)誤報的現(xiàn)象,因此需要采取將map放入共享內(nèi)存方法:我們申請一塊共享內(nèi)存區(qū)域為map,這個map對各進(jìn)程是共享的。當(dāng)程序中各進(jìn)程調(diào)用共享內(nèi)存時,將各進(jìn)程分配的指針及文件名行號等詳細(xì)信息存進(jìn)這共享的map。程序結(jié)束時,掃描該共享的map,就能得到未釋放的信息。將 map放入共享內(nèi)存使用c++標(biāo)準(zhǔn)庫時需要我們自己實現(xiàn)一個基于共享內(nèi)存的allocator,替換map默認(rèn)的allocator,在這個allocator中實現(xiàn)map的內(nèi)存分配方案。也可以使用boost庫(1.35以上版本),它增加了一個叫做boost::interprocess的庫,具體可參考http://blog.cong.co/stl-alloc.html
5) 如何使用該工具?
內(nèi)存泄露檢測框架提供接口libmemck.h,內(nèi)容如下

在被測試程序里包含如下代碼即可使用

6) 何時如何捕獲信號,生成leak文件?
定義一個全局的類得對象,在該類得構(gòu)造函數(shù)里通過signal函數(shù)捕獲SIGINT、SIGABRT、SIGFPE、SIGTERM信號,當(dāng)捕獲到這些信號其中之一時,開始掃描map并將map剩余信息寫入leak文件展示。
7) 對臨界資源的控制?
共享內(nèi)存的各進(jìn)程共享的map,各進(jìn)程間進(jìn)行讀寫操作需要加鎖,我們這里采用的是信號燈實現(xiàn)。
非共享內(nèi)存各個進(jìn)程對應(yīng)的map,在各進(jìn)程進(jìn)行插入刪除操作時也需要加鎖實現(xiàn)
8) 程序中malloc作為函數(shù)指針?
由于將原型malloc(size)重寫為my_malloc(size,__FILE__,__LINE__),這樣由于函數(shù)類型不一致,導(dǎo)致程序調(diào)用該工具時編譯無法通過,真對這種情況的解決辦法為:重寫malloc(size)為my_malloc_p(size)這樣除了文件名和行號無法得知外,泄露的多少內(nèi)存可以報出。
轉(zhuǎn)自http://hi.baidu.com/baiduqa/blog/item/e4c991c5ef46e5c7d10060fb.html
posted on 2012-01-16 13:03
小果子 閱讀(589)
評論(0) 編輯 收藏 引用 所屬分類:
C++