替代�pȝ��malloc/new--选择合适的内存跟踪�Ҏ(gu��)��

Daly — Mon, 02 Jul 2012 05:01:00 GMT

替代�pȝ��自带的malloc/new原因无非两个�Q?nbsp;

reason 1. 做内存profile或查��N��?

reason 2. 自定义的分配�Ҏ(gu��)��提高性能

不过文章[1]中说明了�Q�替代全局new不是一个好做法. 其实要达��C��上两点目的，�W�者认为用valgrind工具铑ְ�可以了�?/span>

解决�Ҏ(gu��)��Q?/strong>

1. 用valgrind和massif

valgrind的memcheck做内存泄露和bug的查�? 里面的massif工具包做内存性能profile, ��矣。比自己山寨的一个profiler要好�?/span>

注意�Q�tcmalloc目前�q�不能很好支持valgrind, 实测中jemalloc可以

2. linux下C的程序可以用wrap的方�?相当于python的decorator)

     �~�译加上选项�Q�gcc -Wl,-wrap,malloc

可以做到对malloc�q�个函数�Q�linker�?x��)调用__wrap_malloc代替�? 若要调用原来的malloc函数__real_malloc

�~�点�Q�依赖于�~�译器支持；对c++的new不�v作用 --> 不实�?/span>

启示�Q�这个方法作为function装饰器，对于调试别的问题倒有帮助。（例如不改变函数的情况下，wrap一层，输出些调试信�?

3. 用__malloc_hook

参考：(x��) http://linux.die.net/man/3/__malloc_hook

#include
void *(*__malloc_hook)(size_t size, const void *caller);
�~�点�Q�依赖GNU�~�译工具�? �Ҏ(gu��)��d�@�?惛_��用原有malloc�Q�要参考例子中�Q�把原__malloc_hook变量保存��h��使用�Q��ƈ恢复现场)

4. LD_PRELOAD注入.so �Q�替代原

   环境变量LD_PRELOAD指定�E�序�q�行时优先加载的动态连接库�Q�这个动态链接库中的�W�号优先�U�是最高的。标�?/span>C的各�U�函数都是存攑֜�libc.so.6的文件中�Q�在�E�序�q�行时自动链接。��?/span>LD_PRELOAD后，自己�~�写�?/span>malloc的加载顺序高�?/span>glibc中的malloc�Q�这样就实现了替换。用�?/span> LD_PRELOAD=" ./mymalloc.so"

�~�点�Q�在生��环境不现实。因为LD_PRELOAD相当于库注入�Q�有安全性问题，是必��ȝ��止的�?生��环境很多时候用-static�q�接)

5. 用宏或另外的函数替代new/malloc

比如定义一个宏或者指定的函数�Q�规定所有的分配释放都调用他。这��L(f��ng)��当于�l�项目引入了额外的代码规�?而且是一立项��p��遵��@�q�个规则�Q�否则该�Ҏ(gu��)��无效�Q�，不能很自然的new/delete, 如果分配和释放调用得不一��_(d��)��?x��)��生问题的。某产品�l�就是用宏，然后加上__FILE__, __LINE__之类的信息�?br />
有时候valgrind的效率是个问�?��其生��环境)�Q�这�U�方案有其�h(hu��n)值所�? ��是代码看上��L��较ugly�|�了

用宏的例子：(x��)

#define _New(Type, Catergory)                    (Type*)MyMemController::New((new Type), #Type, 1, sizeof(Type),   Catergory, __FILE__, __LINE__, false)

#define _NewArray(Type, N, Catergory)          (Type*)MyMemController::New((new Type[N]), #Type, N, sizeof(Type)*(N), Catergory, __FILE__, __LINE__, true)



MALLOC的替代品�Q?/strong>

自己写一个malloc其实很复杂，要考虑�U�程安全�{�各�U�问题，性能到头来可能更差。google 的tcmalloc, facebook使用的jemalloc. 多线�E�下性能较好�Q�可以考虑使用�?br />

�~�点�Q�笔者尝试过。tcmalloc不能正确用valgrind,只能用自带gperftools�Q�运行中�?x��)core)

    jemalloc可以使用valgrind�Q�不�q�还没完全验证是否都准确�?/span>

tcmalloc相关:

    �?4位系�l�上要装libunwind, 对x86-64架构使用�q�有些问�?br />

源码包的INSTALL文��里面也提��C��q�个问题�?br /> CAUTION: if you install libunwind from the url above, be aware that
   you may have trouble if you try to statically link your binary with
   perftools: that is, if you link with 'gcc -static -lgcc_eh ...'.
   This is because both libunwind and libgcc implement the same C++
   exception handling APIs, but they implement them differently on
   some platforms. This is not likely to be a problem on ia64, but
   may be on x86-64.

主要�?4位机frame-pointer的媄�? 他的profile工具里的backtrace用libunwind�q�个库，�q�个库又有版本问题，各种囧啊....

�W�者试�q�系�l�x86-64, freebsd�Q�用静态链接。实际用了一下，问题很多很折腾，�{�他fix了再说吧.

windows下可以参考：(x��)
http://m.shnenglu.com/feixuwu/archive/2010/07/10/119980.aspx

jemalloc暂时未发现有什么兼�Ҏ(gu��)��问题，�q�行得挺好的�?/span>

Reference
[1] <不要重蝲全局operator new>

[2] effective c++条款50�Q?/span>了解new和delete的合理替换时�?/span>

[3] 游戏引擎中的内存分配�{�略
[4] 更好的内存管理jemalloc
[5] tcmalloc官网(gperftools)

Daly 2012-07-02 13:01 发表评论

日韩一级精品,亚洲国产精品一区二区www,欧美亚洲综合在线

替代�pȝ��malloc/new--选择合适的内存跟踪�Ҏ(gu��)��

[2] effective c++条款50�Q?/span>了解new和delete的合理替换时�?/span>

Nginx源码学习(f��n)(2) ---- 模块化及(qi��ng)配置

资源和内存管理学�?f��n)�ȝ��