初識(shí)Visual Leak Detector

       靈活自由是C/C++語(yǔ)言的一大特色，而這也為C/C++程 序員出了一個(gè)難題。當(dāng)程序越來(lái)越復(fù)雜時(shí)，內(nèi)存的管理也會(huì)變得越加復(fù)雜，稍有不慎就會(huì)出現(xiàn)內(nèi)存問(wèn)題。內(nèi)存泄漏是最常見(jiàn)的內(nèi)存問(wèn)題之一。內(nèi)存泄漏如果不是很?chē)?yán) 重，在短時(shí)間內(nèi)對(duì)程序不會(huì)有太大的影響，這也使得內(nèi)存泄漏問(wèn)題有很強(qiáng)的隱蔽性，不容易被發(fā)現(xiàn)。然而不管內(nèi)存泄漏多么輕微，當(dāng)程序長(zhǎng)時(shí)間運(yùn)行時(shí)，其破壞力是 驚人的，從性能下降到內(nèi)存耗盡，甚至?xí)绊懙狡渌绦虻恼＿\(yùn)行。另外內(nèi)存問(wèn)題的一個(gè)共同特點(diǎn)是，內(nèi)存問(wèn)題本身并不會(huì)有很明顯的現(xiàn)象，當(dāng)有異常現(xiàn)象出現(xiàn)時(shí) 已時(shí)過(guò)境遷，其現(xiàn)場(chǎng)已非出現(xiàn)問(wèn)題時(shí)的現(xiàn)場(chǎng)了，這給調(diào)試內(nèi)存問(wèn)題帶來(lái)了很大的難度。

       Visual Leak Detector是一款用于Visual C++的免費(fèi)的內(nèi)存泄露檢測(cè)工具。可以在http://www.codeproject.com/tools/visualleakdetector.asp 下載到。相比較其它的內(nèi)存泄露檢測(cè)工具，它在檢測(cè)到內(nèi)存泄漏的同時(shí)，還具有如下特點(diǎn)：

1、  可以得到內(nèi)存泄漏點(diǎn)的調(diào)用堆棧，如果可以的話，還可以得到其所在文件及行號(hào)；

2、  可以得到泄露內(nèi)存的完整數(shù)據(jù)；

3、  可以設(shè)置內(nèi)存泄露報(bào)告的級(jí)別；

4、  它是一個(gè)已經(jīng)打包的lib，使用時(shí)無(wú)須編譯它的源代碼。而對(duì)于使用者自己的代碼，也只需要做很小的改動(dòng)；

5、  他的源代碼使用GNU許可發(fā)布，并有詳盡的文檔及注釋。對(duì)于想深入了解堆內(nèi)存管理的讀者，是一個(gè)不錯(cuò)的選擇。

       可見(jiàn)，從使用角度來(lái)講，Visual Leak Detector簡(jiǎn)單易用，對(duì)于使用者自己的代碼，唯一的修改是#include Visual Leak Detector的頭文件后正常運(yùn)行自己的程序，就可以發(fā)現(xiàn)內(nèi)存問(wèn)題。從研究的角度來(lái)講，如果深入Visual Leak Detector源代碼，可以學(xué)習(xí)到堆內(nèi)存分配與釋放的原理、內(nèi)存泄漏檢測(cè)的原理及內(nèi)存操作的常用技巧等。

       本文首先將介紹Visual Leak Detector的使用方法與步驟，然后再和讀者一起初步的研究Visual Leak Detector的源代碼，去了解Visual Leak Detector的工作原理。

使用Visual Leak Detector(1.0)

       下面讓我們來(lái)介紹如何使用這個(gè)小巧的工具。

       首先從網(wǎng)站上下載zip包，解壓之后得到vld.h, vldapi.h, vld.lib, vldmt.lib, vldmtdll.lib, dbghelp.dll等文件。將.h文件拷貝到Visual C++的默認(rèn)include目錄下，將.lib文件拷貝到Visual C++的默認(rèn)lib目錄下，便安裝完成了。因?yàn)榘姹締?wèn)題，如果使用windows 2000或者以前的版本，需要將dbghelp.dll拷貝到你的程序的運(yùn)行目錄下，或其他可以引用到的目錄。

注：我下載的是較新版1.9，直接安裝到系統(tǒng)中。因此使用時(shí)必須先在VC中設(shè)置一下目錄。

       接下來(lái)需要將其加入到自己的代碼中。方法很簡(jiǎn)單，只要在包含入口函數(shù)的.cpp文件中包含vld.h就可以。如果這個(gè)cpp文件包含了stdafx.h，則將包含vld.h的語(yǔ)句放在stdafx.h的包含語(yǔ)句之后，否則放在最前面。如下是一個(gè)示例程序：

#include <vld.h>

void main()

{

…                

}

       接下來(lái)讓我們來(lái)演示如何使用Visual Leak Detector檢測(cè)內(nèi)存泄漏。下面是一個(gè)簡(jiǎn)單的程序，用new分配了一個(gè)int大小的堆內(nèi)存，并沒(méi)有釋放。其申請(qǐng)的內(nèi)存地址用printf輸出到屏幕上。

編譯運(yùn)行后，在標(biāo)準(zhǔn)輸出窗口得到：

p=003a89c0

在Visual C++的Output窗口得到：

WARNING: Visual Leak Detector detected memory leaks!

---------- Block 57 at 0x003A89C0: 4 bytes ----------  --57號(hào)塊0x003A89C0地址泄漏了4個(gè)字節(jié)

  Call Stack:                                               --下面是調(diào)用堆棧

    d:\test\testvldconsole\testvldconsole\main.cpp (7): f  --表示在main.cpp第7行的f()函數(shù)

    d:\test\testvldconsole\testvldconsole\main.cpp (14): main –雙擊以引導(dǎo)至對(duì)應(yīng)代碼處

    f:\rtm\vctools\crt_bld\self_x86\crt\src\crtexe.c (586): __tmainCRTStartup

    f:\rtm\vctools\crt_bld\self_x86\crt\src\crtexe.c (403): mainCRTStartup

    0x7C816D4F (File and line number not available): RegisterWaitForInputIdle

  Data:                                   --這是泄漏內(nèi)存的內(nèi)容，0x12345678

    78 56 34 12                                                  xV4..... ........

Visual Leak Detector detected 1 memory leak.   

第二行表示57號(hào)塊有4字節(jié)的內(nèi)存泄漏，地址為0x003A89C0，根據(jù)程序控制臺(tái)的輸出，可以知道，該地址為指針p。程序的第7行，f()函數(shù)里，在該地址處分配了4字節(jié)的堆內(nèi)存空間，并賦值為0x12345678，這樣在報(bào)告中，我們看到了這4字節(jié)同樣的內(nèi)容。

可以看出，對(duì)于每一個(gè)內(nèi)存泄漏，這個(gè)報(bào)告列出了它的泄漏點(diǎn)、長(zhǎng)度、分配該內(nèi)存時(shí)的調(diào)用堆棧、和泄露內(nèi)存的內(nèi)容（分別以16進(jìn)制和文本格式列出）。雙擊該堆棧報(bào)告的某一行，會(huì)自動(dòng)在代碼編輯器中跳到其所指文件的對(duì)應(yīng)行。這些信息對(duì)于我們查找內(nèi)存泄露將有很大的幫助。

這是一個(gè)很方便易用的工具，安裝后每次使用時(shí)，僅僅需要將它頭文件包含進(jìn)來(lái)重新build就可以。而且，該工具僅在build Debug版的時(shí)候會(huì)連接到你的程序中，如果build Release版，該工具不會(huì)對(duì)你的程序產(chǎn)生任何性能等方面影響。所以盡可以將其頭文件一直包含在你的源代碼中。

Visual Leak Detector工作原理

       下面讓我們來(lái)看一下該工具的工作原理。

       在這之前，我們先來(lái)看一下Visual C++內(nèi)置的內(nèi)存泄漏檢測(cè)工具是如何工作的。Visual C++內(nèi)置的工具CRT Debug Heap工作原來(lái)很簡(jiǎn)單。在使用Debug版的malloc分配內(nèi)存時(shí)，malloc會(huì)在內(nèi)存塊的頭中記錄分配該內(nèi)存的文件名及行號(hào)。當(dāng)程序退出時(shí)CRT會(huì)在main()函數(shù)返回之后做一些清理工作，這個(gè)時(shí)候來(lái)檢查調(diào)試堆內(nèi)存，如果仍然有內(nèi)存沒(méi)有被釋放，則一定是存在內(nèi)存泄漏。從這些沒(méi)有被釋放的內(nèi)存塊的頭中，就可以獲得文件名及行號(hào)。

       這種靜態(tài)的方法可以檢測(cè)出內(nèi)存泄漏及其泄漏點(diǎn)的文件名和行號(hào)，但是并不知道泄漏究竟是如何發(fā)生的，并不知道該內(nèi)存分配語(yǔ)句是如何被執(zhí)行到的。要想了解這些，就必須要對(duì)程序的內(nèi)存分配過(guò)程進(jìn)行動(dòng)態(tài)跟蹤。Visual Leak Detector就是這樣做的。它在每次內(nèi)存分配時(shí)將其上下文記錄下來(lái)，當(dāng)程序退出時(shí)，對(duì)于檢測(cè)到的內(nèi)存泄漏，查找其記錄下來(lái)的上下文信息，并將其轉(zhuǎn)換成報(bào)告輸出。

初始化

       Visual Leak Detector要記錄每一次的內(nèi)存分配，而它是如何監(jiān)視內(nèi)存分配的呢？Windows提供了分配鉤子(allocation hooks)來(lái)監(jiān)視調(diào)試堆內(nèi)存的分配。它是一個(gè)用戶(hù)定義的回調(diào)函數(shù)，在每次從調(diào)試堆分配內(nèi)存之前被調(diào)用。在初始化時(shí)，Visual Leak Detector使用_CrtSetAllocHook注冊(cè)這個(gè)鉤子函數(shù)，這樣就可以監(jiān)視從此之后所有的堆內(nèi)存分配了。

       如何保證在Visual Leak Detector初始化之前沒(méi)有堆內(nèi)存分配呢？全局變量是在程序啟動(dòng)時(shí)就初始化的，如果將Visual Leak Detector作為一個(gè)全局變量，就可以隨程序一起啟動(dòng)。但是C/C++并沒(méi)有約定全局變量之間的初始化順序，如果其它全局變量的構(gòu)造函數(shù)中有堆內(nèi)存分配，則可能無(wú)法檢測(cè)到。Visual Leak Detector使用了C/C++提供的#pragma init_seg來(lái)在某種程度上減少其它全局變量在其之前初始化的概率。根據(jù)#pragma init_seg的定義，全局變量的初始化分三個(gè)階段：首先是compiler段，一般c語(yǔ)言的運(yùn)行時(shí)庫(kù)在這個(gè)時(shí)候初始化；然后是lib段，一般用于第三方的類(lèi)庫(kù)的初始化等；最后是user段，大部分的初始化都在這個(gè)階段進(jìn)行。Visual Leak Detector將其初始化設(shè)置在compiler段，從而使得它在絕大多數(shù)全局變量和幾乎所有的用戶(hù)定義的全局變量之前初始化。

記錄內(nèi)存分配

       一個(gè)分配鉤子函數(shù)需要具有如下的形式：

int YourAllocHook( int allocType, void *userData, size_t size, int blockType, long requestNumber, const unsigned char*filename, int lineNumber);

       就像前面說(shuō)的，它在Visual Leak Detector初始化時(shí)被注冊(cè)，每次從調(diào)試堆分配內(nèi)存之前被調(diào)用。這個(gè)函數(shù)需要處理的事情是記錄下此時(shí)的調(diào)用堆棧和此次堆內(nèi)存分配的唯一標(biāo)識(shí)——requestNumber。

       得到當(dāng)前的堆棧的二進(jìn)制表示并不是一件很復(fù)雜的事情，但是因?yàn)椴煌w系結(jié)構(gòu)、不同編譯器、不同的函數(shù)調(diào)用約定所產(chǎn)生的堆棧內(nèi)容略有不同，要解釋堆棧并得到整個(gè)函數(shù)調(diào)用過(guò)程略顯復(fù)雜。不過(guò)windows提供一個(gè)StackWalk64函數(shù)，可以獲得堆棧的內(nèi)容。StackWalk64的聲明如下：

BOOL StackWalk64(

  DWORD MachineType,

  HANDLE hProcess,

  HANDLE hThread,

  LPSTACKFRAME64 StackFrame,

  PVOID ContextRecord,

  PREAD_PROCESS_MEMORY_ROUTINE64 ReadMemoryRoutine,

  PFUNCTION_TABLE_ACCESS_ROUTINE64 FunctionTableAccessRoutine,

  PGET_MODULE_BASE_ROUTINE64 GetModuleBaseRoutine,

  PTRANSLATE_ADDRESS_ROUTINE64 TranslateAddress

);

STACKFRAME64結(jié)構(gòu)表示了堆棧中的一個(gè)frame。給出初始的STACKFRAME64，反復(fù)調(diào)用該函數(shù)，便可以得到內(nèi)存分配點(diǎn)的調(diào)用堆棧了。

    // Walk the stack.

    while (count < _VLD_maxtraceframes) {

        count++;

        if (!pStackWalk64(architecture, m_process, m_thread, &frame, &context,

                          NULL, pSymFunctionTableAccess64, pSymGetModuleBase64, NULL)) {

            // Couldn't trace back through any more frames.

            break;

        }

        if (frame.AddrFrame.Offset == 0) {

            // End of stack.

            break;

        }

        // Push this frame's program counter onto the provided CallStack.

        callstack->push_back((DWORD_PTR)frame.AddrPC.Offset);

    }

       那么，如何得到初始的STACKFRAME64結(jié)構(gòu)呢？在STACKFRAME64結(jié)構(gòu)中，其他的信息都比較容易獲得，而當(dāng)前的程序計(jì)數(shù)器(EIP)在x86體系結(jié)構(gòu)中無(wú)法通過(guò)軟件的方法直接讀取。Visual Leak Detector使用了一種方法來(lái)獲得當(dāng)前的程序計(jì)數(shù)器。首先，它調(diào)用一個(gè)函數(shù)，則這個(gè)函數(shù)的返回地址就是當(dāng)前的程序計(jì)數(shù)器，而函數(shù)的返回地址可以很容易的從堆棧中拿到。下面是Visual Leak Detector獲得當(dāng)前程序計(jì)數(shù)器的程序：

#if defined(_M_IX86) || defined(_M_X64)

#pragma auto_inline(off)

DWORD_PTR VisualLeakDetector::getprogramcounterx86x64 ()

{

    DWORD_PTR programcounter;

    __asm mov AXREG, [BPREG + SIZEOFPTR] // Get the return address out of the current stack frame

    __asm mov [programcounter], AXREG    // Put the return address into the variable we'll return

    return programcounter;

}

#pragma auto_inline(on)

#endif // defined(_M_IX86) || defined(_M_X64)

       得到了調(diào)用堆棧，自然要記錄下來(lái)。Visual Leak Detector使用一個(gè)類(lèi)似map的數(shù)據(jù)結(jié)構(gòu)來(lái)記錄該信息。這樣可以方便的從requestNumber查找到其調(diào)用堆棧。分配鉤子函數(shù)的allocType參數(shù)表示此次堆內(nèi)存分配的類(lèi)型，包括_HOOK_ALLOC, _HOOK_REALLOC, 和 _HOOK_FREE，下面代碼是Visual Leak Detector對(duì)各種情況的處理。

    switch (type) {

    case _HOOK_ALLOC:

        visualleakdetector.hookmalloc(request);

        break;

    case _HOOK_FREE:

        visualleakdetector.hookfree(pdata);

        break;

    case _HOOK_REALLOC:

        visualleakdetector.hookrealloc(pdata, request);

        break;

    default:

        visualleakdetector.report("WARNING: Visual Leak Detector: in allochook(): Unhandled allocation type (%d).\n", type);

        break;

    }

這里，hookmalloc()函數(shù)得到當(dāng)前堆棧，并將當(dāng)前堆棧與requestNumber加入到類(lèi)似map的數(shù)據(jù)結(jié)構(gòu)中。hookfree()函數(shù)從類(lèi)似map的數(shù)據(jù)結(jié)構(gòu)中刪除該信息。hookrealloc()函數(shù)依次調(diào)用了hookfree()和hookmalloc()。

檢測(cè)內(nèi)存泄露

       前面提到了Visual C++內(nèi)置的內(nèi)存泄漏檢測(cè)工具的工作原理。與該原理相同，因?yàn)槿肿兞恳詷?gòu)造的相反順序析構(gòu)，在Visual Leak Detector析構(gòu)時(shí)，幾乎所有的其他變量都已經(jīng)析構(gòu)，此時(shí)如果仍然有未釋放之堆內(nèi)存，則必為內(nèi)存泄漏。

       分配的堆內(nèi)存是通過(guò)一個(gè)鏈表來(lái)組織的，檢查內(nèi)存泄漏則是檢查此鏈表。但是windows沒(méi)有提供方法來(lái)訪問(wèn)這個(gè)鏈表。Visual Leak Detector使用了一個(gè)小技巧來(lái)得到它。首先在堆上申請(qǐng)一塊臨時(shí)內(nèi)存，則該內(nèi)存的地址可以轉(zhuǎn)換成指向一個(gè)_CrtMemBlockHeader結(jié)構(gòu)，在此結(jié)構(gòu)中就可以獲得這個(gè)鏈表。代碼如下：

    char *pheap = new char;

    _CrtMemBlockHeader *pheader = pHdr(pheap)->pBlockHeaderNext;

delete pheap;

其中pheader則為鏈表首指針。

報(bào)告生成

       前面講了Visual Leak Detector如何檢測(cè)、記錄內(nèi)存泄漏及其其調(diào)用堆棧。但是如果要這個(gè)信息對(duì)程序員有用的話，必須轉(zhuǎn)換成可讀的形式。Visual Leak Detector使用SymGetLineFromAddr64()及SymFromAddr()生成可讀的報(bào)告。

            // Iterate through each frame in the call stack.

            for (frame = 0; frame < callstack->size(); frame++) {

                // Try to get the source file and line number associated with

                // this program counter address.

                if (pSymGetLineFromAddr64(m_process,

                   (*callstack)[frame], &displacement, &sourceinfo)) {

                    ...

                }

                // Try to get the name of the function containing this program

                // counter address.

                if (pSymFromAddr(m_process, (*callstack)[frame],

                    &displacement64, pfunctioninfo)) {

                    functionname = pfunctioninfo->Name;

                }

                else {

                    functionname = "(Function name unavailable)";

                }

                ...

            }

       概括講來(lái)，Visual Leak Detector的工作分為3步，首先在初始化注冊(cè)一個(gè)鉤子函數(shù)；然后在內(nèi)存分配時(shí)該鉤子函數(shù)被調(diào)用以記錄下當(dāng)時(shí)的現(xiàn)場(chǎng)；最后檢查堆內(nèi)存分配鏈表以確定是否存在內(nèi)存泄漏并將泄漏內(nèi)存的現(xiàn)場(chǎng)轉(zhuǎn)換成可讀的形式輸出。有興趣的讀者可以閱讀Visual Leak Detector的源代碼。

總結(jié)

       在使用上，Visual Leak Detector簡(jiǎn)單方便，結(jié)果報(bào)告一目了然。在原理上，Visual Leak Detector針 對(duì)內(nèi)存泄漏問(wèn)題的特點(diǎn)，可謂對(duì)癥下藥——內(nèi)存泄漏不是不容易發(fā)現(xiàn)嗎？那就每次內(nèi)存分配是都給記錄下來(lái)，程序退出時(shí)算總賬；內(nèi)存泄漏現(xiàn)象出現(xiàn)時(shí)不是已時(shí)過(guò)境 遷，并非當(dāng)時(shí)泄漏點(diǎn)的現(xiàn)場(chǎng)了嗎？那就把現(xiàn)場(chǎng)也記錄下來(lái)，清清楚楚的告訴使用者那塊泄漏的內(nèi)存就是在如何一個(gè)調(diào)用過(guò)程中泄漏掉的。

       Visual Leak Detector是一個(gè)簡(jiǎn)單易用內(nèi)存泄漏檢測(cè)工具。現(xiàn)在最新的版本是1.9a，采用了新的檢測(cè)機(jī)制，并在功能上有了很多改進(jìn)。讀者不妨體驗(yàn)一下