国产成人久久精品激情,精品久久777,久久精品成人免费网站

自撸web��框�?dodolu(��Z��nginx lua) + lua debugger

叛_�� — Mon, 22 Dec 2014 10:22:00 GMT

背景

前段旉��目需要一个点�?y��n)L��务，大致是要�Ҏ(gu��)��用户��h��的url�?qi��ng)数据库中的规则�Q�匹配出一个结果�ƈ记录日志。最开始是一个很��的需求，�l�果业务��来��复杂，业务逻辑中经常要处理header头和一些其他的信息�Q�导致代码越来越混�ؕ。在一期结束之后，抽时间把�q�段旉��的工作抽象出�?ji��n)一个轻量��框架�Q�只做了(ji��n)适量的封装，加入�?ji��n)代码生成的模块�Q�可以帮助开发者迅速做��Z��个可用的web服务�?/p>

介绍

dodolu框架地址(Github)�?/p>

该框架只做了(ji��n)最��化的封装，几乎没有性能损失�Q��ƈ提供�?ji��n)根据配�|�文�?meta.lua)�Q�自动生成route模块�Q�nginx.conf配置�Q�logger模块的功能，减轻�?ji��n)开发工作量�Q�避免重复手写大量易错的配置或字�W�串变量�Q�有助于多�h开发统一风格�?/p>

详情Github的README

功能

包括三个部分�Q�一个是web框架�Q�一个是代码自动生成模块�Q�一个是��改出的lua�q�程调试�?/a>�?/p>

web框架部分

只有1k行以下的代码�Q�集成了(ji��n)resty.template、resty.cookie、UUID生成�{�第三方模块。提供request、response、context、util�{�库方便开发�h员��用�?/p>

代码自动生成部分

可自动生�?

路由配置
日志记录模块
nginx.conf

主要目的在于解决nginx配置与lua代码的分��问�?在日志记录中��ؓ(f��)严重)�?/p>

开发�h员新建应用步骤：(x��)在App文�g夹下�Q�新建lua文�g�Q�然后填�?code>do_get()�Ҏ(gu��)��卛_��处理相应的get��h��Q�所有配�|�在meta/meta.lua里面�?/p>

一个记录日志�ƈ�q�回1x1gif的例子：(x��)

-- �q�个文�g下面存放你的业务逻辑

-- �q�个文�g下面存放你的业务逻辑

local app = {}
function app.do_get(ctx) 
    local response = ctx.response
    local request = ctx.request
    local cookie = ctx.cookie

    response:set_content_type("text/html")
    local url = request.uri
    -- do some process

    ------------- write log ---------------
    -- my_log 日志模块是根据meta.lua自动生成�?
    local logger = ctx.get_logger('my_log')  
    local log_data = { a = "xxx"}
    logger.write(log_data, other_params)

    ------------- return empty gif -------
    response:empty_gif()
    response:close()
end

function app.do_post(ctx) end
function app.do_put(ctx) end
function app.do_delete(ctx) end

return app

lua�q�程调试�?/h3>

文��详细�?a >�q�里�Q�这里只演示下用法：(x��)
sh debug.sh�Q�然后运行用��L(f��ng)��序，成功�?br />

Lua Remote Debugger
Run the program you wish to debug
Paused at file a.lua
Type 'help' for commands
>

下一�? n

n
Paused at file a.lua line 8
8: print("Start")
>

查看源码 l

> l
source file: a.lua
2:
3:   local tab = {
4:       foo = 1,
5:       bar = 2
6:   }
7:
8:>> print("Start")
9:
10:  local bb = require "b"
11:  bb.foo()
12:
13:  for i = 1, 10 do
14:      print("Loop")

讄��断点 b : 查看 listb

> b a.lua:11
> listb
a.lua: 11

查看局部变�? local

> local
{
        ["tab"] = {
                {
                        ["bar"] = 2,
                        ["foo"] = 1,
                },
                "table: 0x2589ee0",
        },
}

查看变量 p tab

> p tab
{
["bar"] = 2,
["foo"] = 1,
}

�l�箋执行�Q�直到断�? r

> r
Paused at file a.lua line 11

叛_�� 2014-12-22 18:22 发表评论

�Q�二�Q�Luajit中的好轮子DynASM

叛_�� — Sat, 30 Nov 2013 04:49:00 GMT

本�h博客地址�Q?a href="http://m.shnenglu.com/pwq1989/">http://m.shnenglu.com/pwq1989/

上一��对Luajit的代码结构和�~�译�q�程做了(ji��n)��单的描述�Q�这一��就讲一下buildvm在第一步预处理dasc文�g的过�E�和DynASM�q�个轮子�?br />
官方�q�接�Q?a >http://luajit.org/dynasm.html

是�ؓ(f��)�?ji��n)让你更优雅的C里面撸汇�~�的一个工��P��我记得以前看�q�一个老外的blog�Ҏ(gu��)��q�同样功能的jit code generator的语法，Luajit的作者显然品位还是很高的�?br />
我们先来看看如果不用工具��生生撸代码的话�?x��)发生什么�?br />1、你往一�D�内存里面写0xB8,0x00,0x01....
2、你在文仉��定义好多label�Q�写个copy section的宏往内存里面复制�Q�你�q�不能确定里面到底是什么。（哦。。这个的术语叫Threaded。。。）(j��)

然后再对比下AsmJit或�?a title="Xbyak" target="_blank">Xbyak的例子看看（他们的功能差不多�Q�，DynASM�q�提供了(ji��n).marco实现�Q�就�?x��)发现语法真是sweeeet~

�q�是我写着玩的一个草泥马语jit解释器（https://github.com/pwq1989/GMHjit�Q�语法真是清新自然啊�Q�如果你想看工业�U�的应用�Q�可以看看Google的Haberman写的protobuf的upb库，里面用DynASM�q�行�?ji��n)jit�Q�号�U�快�?ji��n)多��多��（不去考证�?ji��n)�?j��)�Q�或者是agentzh写的sregex正则库，也是用它做了(ji��n)jit。一般来说DSL配上jit的话一定会(x��)快很多就错不�?ji��n)�?ji��n)�?br />
下面�l�一个DynASM的Demo�E�序�Q�摘抄自�q�个blog�Q?br />

1 // DynASM directives.
2 |.arch x64
3 |.actionlist actions
4
5 // This define affects "|" DynASM lines.  "Dst" must
6 // resolve to a dasm_State** that points to a dasm_State*.
7 #define Dst &state
8
9 int main(int argc, char *argv[]) {
10   if (argc < 2) {
11     fprintf(stderr, "Usage: jit1 \n");
12     return 1;
13   }
14
15   int num = atoi(argv[1]);
16   dasm_State *state;
17   initjit(&state, actions);
18
19   // Generate the code.  Each line appends to a buffer in
20   // "state", but the code in this buffer is not fully linked
21   // yet because labels can be referenced before they are
22   // defined.
23   //
24   // The run-time value of C variable "num" is substituted
25   // into the immediate value of the instruction.
26   |  mov eax, num
27   |  ret
28
29   // Link the code and write it to executable memory.
30   int (*fptr)() = jitcode(&state);
31
32   // Call the JIT-ted function.
33   int ret = fptr();
34   assert(num == ret);
35
36   // Free the machine code.
37   free_jitcode(fptr);
38
39   return ret;
40 }

预处理之后那��׃��(x��)变成�q�样子：(x��)

1 //|.arch x64
2 //|.actionlist actions
3 static const unsigned char actions[4] = {
4   184,237,195,255
5 };
6
7 // []
8
9 //|  mov eax, num
10 //|  ret
11 dasm_put(Dst, 0, num);

dasm_put��是把num参数和actions[]一��h��入了(ji��n)Dst�Q?define Dst &state�Q�的制定的内存中�Q�这时候已�l�是机器码的形式�?ji��n)�?br />下面是对于acitons[]数组内容的解释：(x��)
184(B8)-- mov eax, [immediate] 指��o(h��)的第一个字�?br />237 -- 内置的标志DASM_IMM_D, 指明应该攑օ�一�?字节宽度的参敎ͼ�与上一条指令完成一个MOV
195(C3)-- 对应ret指��o(h��)
255 -- 内置的标志DASM_STOP

以上��是最��单的例子�Q�dasm_growpc()是内�|�的函数�Q�用来增长maxpc, �q�样在程序里面就可以方便写出jmp => label �q�样的指令了(ji��n)�?br />
�׃��DynASM的文��很��，�q怺��q�有几个例子�Q�除�?ji��n)例子唯一能看的就是源码了(ji��n)�Q�所以在用的时候出现问题是很痛苦的。。当时写GMHjit��发��C��(ji��n)蛋疼的pre-process period bug�Q�后来绕�q�去�?ji��n)�?br />
源码文�g有这么几�?br />-- dynasm.lua
-- dynasm_proto.h
-- dynasm_*.lua
-- dynasm_*.h // * x64 x86 ppc mips arm �{�target

用�v来就是lua dynasm.lua a.dasm > a.h

下面��׃��dynasm.lua开始分析下他的源码

入口是parseargs函数�Q�里面给的g_opt参数赋默认的��|��一个repeat 中调用parseopt解析参数�Q�opt_map��是option对args的函数映��?br />
函数wline�Q�wcomment�Q�wsync�Q�wdumplines都是对输出的目标文�g的操作�?br />
真正的主函数�?translate�Q�把input file变成 output file�Q�在readfile中的doline函数是真正的处理�q�程�Q�里面判断是否是Assembler line之后Emit C code�Q�调用dostmt(aline)。里面��l�有map_coreop[*]来处理section macro arch nop_ error_1 include if endif elseif �{�关键字�Q�想深入研究的可以自己去看，其中在loadarch中根据a(ch��n)rch加蝲不同的lua�?br />
如果arch是x64的话�Q�本质还是require x86
来看dasm_x86.lua文�g

_M.mergemaps�q�是关键的方法，讄��?个Map的元�Ҏ(gu��)��Q�然后返回，相当于是把方法绑定在table里面传递了(ji��n)出去。处理后文�g中关键的actionlist[]数组和Dasm_put(Dst, ...)的输出就是这个lua文�g的方法�?/div>里面提供�?ji��n)很多dump�Ҏ(gu��)��Q�可以供我们遇到问题时候调试处理过�E��?br />

action_names��是以后生成的action_list中的内置标志定义�Q�必��M��dasm_x86.h中的enum定义一致�?/div>表明�?ji��n)代表的参数和长度等信息�?br />�q�个文�g里面所有的函数��是做了(ji��n)一件事�Q�把你的 |... �q�样子的代码处理成数�l�输出到目标文�g中（我是汇编渣渣�Q�里面貌似支持SSE2�?�?+�Q�看不懂�Q�等��C��后看到traced jit的时候再�ȝ��手册把）(j��)

预处理完成之后，��是#include "dasm_x86.h"�Q�里面有最关键的dasm_State�l�构体的定义�Q�几乎里面所有的函数都是对外的API�Q�有init,setup,free�{�等�Q�除��d��始化与free之外�Q�有三个步骤是需要出现在你都代码中：(x��)
1、dasm_put(Dst,...) �q�个是自动生成的�Q�不用我们操�?j��)，��?gu��)��a(ch��n)ctionlist[]和运行时的参数写入到Dst指定的内存（Dst->section�Q�中.
2、dasm_link() �W�二个参数是�q�回的代码长度大��，�q�个函数把section合�ƈ��C��P��处理偏移�{�等�?br />3、dasm_encode() �W�二个参数是一个接受encode输出的buffer指针�?br />
然后��可以用一个函数指针，比如声明一�?int (*f)(*int), int ret = f(param) 直接�q�行刚刚生成的机器码�?ji��n)�?br />

叛_�� 2013-11-30 12:49 发表评论

�Q�一�Q�初识Luajit

叛_�� — Thu, 28 Nov 2013 11:23:00 GMT

本�h博客地址�Q?a href="http://m.shnenglu.com/pwq1989/">http://m.shnenglu.com/pwq1989/

�W�一��对Luajit做一个大概的介绍�Q�我目前也正在慢慢的读通源码中�Q�以后发��C��(ji��n)��C��西就补充在这里�?br />
大家可以从官�|�下载到源码�Q?a >http://luajit.org/�Q�，也可以从Github�Q?a >https://github.com/LuaDist/luajit�Q�down下来�Q�顺便还可以看下commit记录�?br />
大家对着luajit的wiki�l�合源码看的话会(x��)更好些，因�ؓ(f��)。。文档太特么��了(ji��n)�Q�！

目录�l�构�Q?br /> -- src
-- host
-- jit
*.c
*.h
*.dasc
�{�等�Q�别的不是很重要

最开始我是从main函数开始看的，然后。。碰�?ji��n)一��d��灎ͼ�后来研究下他的makefile�Q�发��C��是这样子的编译的�Q�脓(chu��ng)一下关键的msvcbuild.bat的代码（�q�个更容易看懂）(j��)

1 :X64
2 minilua %DASM% -LN %DASMFLAGS% -o host\buildvm_arch.h vm_x86.dasc
3 @if errorlevel 1 goto :BAD
4
5 %LJCOMPILE% /I "." /I %DASMDIR% host\buildvm*.c
6 @if errorlevel 1 goto :BAD
7 %LJLINK% /out:buildvm.exe buildvm*.obj
8 @if errorlevel 1 goto :BAD
9 if exist buildvm.exe.manifest^
10 %LJMT% -manifest buildvm.exe.manifest -outputresource:buildvm.exe
11
12 buildvm -m peobj -o lj_vm.obj
13 @if errorlevel 1 goto :BAD
14 buildvm -m bcdef -o lj_bcdef.h %ALL_LIB%
15 @if errorlevel 1 goto :BAD
16 buildvm -m ffdef -o lj_ffdef.h %ALL_LIB%
17 @if errorlevel 1 goto :BAD
18 buildvm -m libdef -o lj_libdef.h %ALL_LIB%
19 @if errorlevel 1 goto :BAD
20 buildvm -m recdef -o lj_recdef.h %ALL_LIB%
21 @if errorlevel 1 goto :BAD
22 buildvm -m vmdef -o jit\vmdef.lua %ALL_LIB%
23 @if errorlevel 1 goto :BAD
24 buildvm -m folddef -o lj_folddef.h lj_opt_fold.c
25 @if errorlevel 1 goto :BAD

先创��Z��(ji��n)一个buildvm.exe的中间工��P��来自动生成代码，分别生成�?span style="font-size: 13.333333015441895px; background-color: #eeeeee;">lj_vm.obj�Q?/span>lj_bcdef.h�Q?/span>lj_ffdef.h �Q?/span>lj_recdef.h �Q?/span>jit\vmdef.lua�Q?/span>lj_folddef.h�Q?lj_libdef.h

其中lv_vm.obj是依赖于host\buildvm_arch.h的，�q�个是用DynASM预处理vm_x86.dasc生成的，�q�个工具的具体分析会(x��)在下一��博客提�?qi��ng)�?br />
先来看下上面自动生成的代码：(x��)
lj_bcdef.h:

1 LJ_DATADEF const uint16_t lj_bc_ofs[] = {
2 0,
3 71,
4 142,
5 213,
6 284,
7
8 };
9
10 LJ_DATADEF const uint16_t lj_bc_mode[] = {
11 BCDEF(BCMODE)
12 BCMODE_FF,
13 BCMODE_FF,
14 BCMODE_FF,
15 BCMODE_FF,
16 BCMODE_FF,
17
18 };

lj_bc_ofs[]可能是bc在vm代码�D�中的偏�U�量�Q�这个我�q�没深入�q�去调试一下）(j��)�Q�vm的一部分是用DynASM直接撸汇�~�撸出来的，wiki中也有提��C��一步jit化的opcode�{�等�?br />

lj_bc_mode[]的用来根据压�~�后的bytecode构造，分离出操作数�Q�第一行的两个宏的定义�?br />

#define BCMODE(name, ma, mb, mc, mm) \

(BCM##ma|(BCM##mb<<3)|(BCM##mc<<7)|(MM_##mm<<11)),

#define BCMODE_FF 0

#define BCDEF(_) \

/* Comparison ops. ORDER OPR. */ \

_(ISLT, var, ___, var, lt) \

_(ISGE, var, ___, var, lt) \

_(ISLE, var, ___, var, le) \

_(ISGT, var, ___, var, le) \
...
��M��是充斥着各种拼接��h��的宏

lj_ffdef.h:

1 FFDEF(assert)
2 FFDEF(type)
3 FFDEF(next)
4 FFDEF(pairs)
5 FFDEF(ipairs_aux)
6

FFDEF的定义是�?br />

1 /* Fast function ID. */
2 typedef enum {
3   FF_LUA_ = FF_LUA,    /* Lua function (must be 0). */
4   FF_C_ = FF_C,        /* Regular C function (must be 1). */
5 #define FFDEF(name)    FF_##name,
6 #include "lj_ffdef.h"
7   FF__MAX
8 } FastFunc;

差不多就是用FF_##name把上面的名字拼接��h��Q�然后生成在enum里面�Q�这样就能当成是数字�Q�在数组中迅速找到入口了(ji��n)

vmdef.lua:
�q�个里面内容��׃��贴了(ji��n)�Q�包括bcname,irname,irfpm,irfield,ircall 的定义，在jit文�g夹下面，用于调试�{�，比如在dump.lua中就有用�?br />

local jit = require("jit")
assert(jit.version_num == 20002, "LuaJIT core/library version mismatch")
local jutil = require("jit.util")
local vmdef = require("jit.vmdef") // ← ← ← ←

当你用luajit -jdump的时候，��是调用的lua的jit库里面的lua函数

lj_recdef.h:

1 static const uint16_t recff_idmap[] = {
2 0,
3 0x0100,
4 0x0200,
5 0x0300,
6 0,
7 0,
8 0x0400,
9
10 };
11
12 static const RecordFunc recff_func[] = {
13 recff_nyi,
14 recff_c,
15 recff_assert,
16 recff_type,
17 recff_ipairs_aux,
18
19 };

其中recff_func[]是被注册的被traced jit 跟踪的函敎ͼ�具体可是在lj_ffrecord.c里面看到
recff_idmap[]被用在lj_ffrecord_func�q�个函数中，有一个关键的数据�l�构RecordFFData�Q�用来记录在trace�q�程中被调用函数的参数和�q�回��g��敎ͼ�和一些辅助数据，opcode�Q�literal�{�等。通过recff_idmap[]保存的值来区分函数�Q�待仔细研究�Q?br />

lj_folddef.h:

1 static const FoldFunc fold_func[] = {
2   fold_kfold_numarith,
3   fold_kfold_ldexp,
4   fold_kfold_fpmath,
5   fold_kfold_numpow,
6
7 };
8
9 static const uint32_t fold_hash[916] = {
10 0xffffffff,
11 0xffffffff,
12 0x5b4c8016,
13
14 };

用在FOLD optimization中，见lj_opt_fold.c�Q�主要在

1 if ((fh & 0xffffff) == k || (fh = fold_hash[h+1], (fh & 0xffffff) == k)) {
2       ref = (IRRef)tref_ref(fold_func[fh >> 24](J));
3       if (ref != NEXTFOLD)
4     break;
5     }

是根据数�l�偏�U�获取函敎ͼ�直接执行�?br />�Q�这个Optimation略复杂，以后的博文中再说�Q?br />
----------------------------------------分割�U?------------------------------------------

以上��是buildvm生成代码�Q�在很多.c的文件中�Q�他加入�?ji��n)一些无意义的MARCO�Q�目的是��Z��(ji��n)能被buildvm识别�?br />
下面说说src根目录下面的文�g�Q?br />
lauxlib.h�Q?br />用户开发扩展和与C交互的时候的头文�?br />
lib_*.h /.c:
��֐�思义�Q�就是利用LuaAPI写的内部标准库，�?x��)在��?gu��)��上表明是否会(x��)被trace ( LJLIB_REC(.) )�?br />
ljamalg.c:
文�g的合�q?br />
lj_alloc.h /.c:
定制的Memory Allocator

lj_api.c:

Public Lua/C API.

lj_arch.h:

Target architecture selection

lj_jit.h:
jit�~�译器里面数据结构的定义

lj_asm.h/ .c lj_asm_*.c lj_emit_*.h lj_target_*.h/.c :
��IR�~�译成Machine Code�Q�关键的数据�l�构ASMState�Q�线性扫描的O(n2)分配��法

lj_bc.h/ .c�Q?br />Luajit字节码的定义和内存布局

lj_bcdump.c lj_bcread.c lj_bcwrite.c:
围绕着字节码的操作

lj_carith.c:

C实现的一些数字运��?/div>
lj_ccall.h/ .c lj_ccallback.h / .c :
FFI C语言函数调用和回调绑�?br />
lj_debug.h/.c :
调试与自省用

lj_def.h:
�q�个很重要，重要的类型和一些宏定义在这�?br />
lj_c*.h/ .c:
和C语言先关的，比如�c�d��转化�Q�char��理�Q�数据管�?br />
lj_frame.h:
Luajit的栈帧管�?br />
lj_func.h/.c:
Function handle和闭包有关的upvalue数据�l�构

lj_gc.h/.c:
GC相关�Q�GC可以看下luajit的wiki�Q�里面涉�?qi��ng)不��增量式GC的paper和作者的看法

lj_gdbjit.h/.c :
对gdb的支�?br />
lj_ir*.h/.c:
SSA�Q�IR相关�Q�这个和bytecode�q�是不一��L(f��ng)��Q�操作和优化

lj_lex.h/.c lj_parse.h/.c:
lexer和parser

lj_mcode.h/.c:
Machine Code��理

lj_opt_*.h:
各种bytecode层面上的优化

lj_snap.h/.c:
快照支持

lj_state.h/.c:
LuaState和Stack的操�?br />
lj_str*.h/.c lj_tab.h/.c:
原生�c�d��string和table操作

lj_udata.h/.c:
�c�d��user data的操�?br />
lj_vm.h/.c lj_vmevent.h/.c:
vm的API和事件注册（lj_vmevent_send�Q?br />
lj_vmmath.h/.c�Q?br />对vm支持的math�?br />
lua.h:
luaState�{�基本的Lua�l�构

lualib.h:
和Lua一��P��标准库的API

luajit.h:
luajit 的public API

vm_*.dasc:
�~�译期被DynASM预处理的源文�Ӟ��下一��讲DynASM时候介�l�dasc文�g

wmain.c:
windows下面的main入口

和Trace相关的：(x��)
lj_crecord.h/.c �Q?C操作的trace record
lj_dispatch.h/.c : 指��o(h��)分发�Q�调用ASMFuction�Q�处理指令前的hook和记录trace用的hot count�Q�有一个重要的数据�l�构 GG_State
lj_ff*.h/.c: 上面讲lj_ffdef.h的时候提�q�，trace的时�?记录Fast Function的调用记�?br />lj_trace.h/.c: trace的具体过�E?br />lj_traceerr.h : trace error

叛_�� 2013-11-28 19:23 发表评论