日韩天堂av,欧美涩涩视频,亚洲激情啪啪

systemtap + tengine lua 性能��试�W�记

叛_�� — Fri, 09 Jan 2015 04:03:00 GMT

序言

虽然nginx+lua开发一些小的web服务��单快��P��但是�׃��U�种原因�Q�配套的工具比较�~�Z��Q�监控工具和性能��工��L��{�。而且lua作�ؓ一�U�跑在虚拟机的脚本语�a��Q�虽然做的短��精悍，但是。。。功能和可调优的�I�间�q�是�Ơ缺了点�?/p>

前段旉��使用春哥�?a style="box-sizing: border-box; color: #428bca; text-decoration: none; background: transparent;">systemtap脚本�Ҏ��的lua服务做了下性能��试�Q�这里记录一下折腄��历程

准备

systemtap是一个性能��和调试跟踪的工��P��最开始是��Z��调试内核被做出来的，后来��d��了用��h��跟�t�的功能�?/p>

折腾记录

春哥的脚本要求systemtap2.2以上�Q�公司测试服务器自带的systemtap脚本的版本那�?.6�Q�远�q�不够，所以必��L��动编译一个。下载systamtap的源码，然后./configuare + make��可以直接编了。最开始碰到的问题是公司el5�pȝ��的服务器的elfutil版本太低�Q�得自己�~�译一个高版本的elfutil然后指定路径。。。。我怕麻烦，��把一个空的测试机器重装成el6�Q�elfutil的版本立马就够了(我真是太机智�?�?/p>

��利�~�译出systamtap之后(中途遇��C��systemtap版本不够新导致的�W�号找不到的bug)�Q�就是tengine的安装，旉��都折腑֜��q�上面了。。。我们项目用的是tengine-ads�q�个版本�Q�直接用tengine�~�少模块�Q�就请了tengine�l�的同学帮忙把模块给打了�q�去。由于要跟踪lua内部�Q�所以自带的luajit必须-g�~�译。那边的同学比较忙，我就只能自己要了服务器权限跑上去自己�~�，�~�了几次之后那个��试服务器竟然磁盘满了。。。��M��是折腾了一晚上和一早上�Q�终于把带debuginfo的tengine�l�装上了�?/p>

效果

启动tengine服务�Q�把压测�E�序开好，�q�行

./ngx-sample-lua-bt -p 29237 --luajit20 -t 200 -a '--vp 02 -R /home/wenqian.peiwq/systemtap-2.6/runtime -DSTP_NO_OVERLOAD --all-modules -DMAXSKIPPED=1024 ' > tmp.bt

采样�l�束后，利用brendangregg�?a style="box-sizing: border-box; color: #428bca; text-decoration: none; background: transparent;">FlameGraph tools可以�l�制栈调用的火焰图，如下�Q?/p>

通过�q�个图，先是立马发现了一个低�U�错误。。。（上面贴的图上已经没了�Q�，我有很多打印debug的语句，用了�q�类用法

_log.log("debug", "xxx", util.print_r(some_data))

忘记了lua的求值策略，虽然debug下的�q�个语句在生产环境中不执行，但是�׃��求值策略，util.print_r(some_data)仍然会先求��|��D��了很大的性能损失�Q�接�q?/4�?/p>

同时也发��C��UUID的生成所占用的时间也�q�分的长了一些，然后重写了这个方法，使用了resty.string库中的random模块(直接调用了ngx_*的C函数)�Q�然后利用systemtap�Ҏ��了前后的旉��Q�提升了360%多，可见�q�是很有效果的�?/p>

�?

�q�个��目是基于我上次手撸的小框架dodolu�Q�根据这�ơ的��试�l�果�Q�框架的��装�Ҏ��的项目造成的性能损失�?%以下�?/p>

叛_�� 2015-01-09 12:03 发表评论

自撸web��框�?dodolu(��Z��nginx lua) + lua debugger

叛_�� — Mon, 22 Dec 2014 10:22:00 GMT

背景

前段旉��目需要一个点��L��务，大致是要�Ҏ��用户��h��的url及数据库中的规则�Q�匹配出一个结果�ƈ记录日志。最开始是一个很��的需求，�l�果业务��来��复杂，业务逻辑中经常要处理header头和一些其他的信息�Q�导致代码越来越混�ؕ。在一期结束之后，抽时间把�q�段旉��的工作抽象出了一个轻量��框架�Q�只做了适量的封装，加入了代码生成的模块�Q�可以帮助开发者迅速做��Z��个可用的web服务�?/p>

介绍

dodolu框架地址(Github)�?/p>

该框架只做了最��化的封装，几乎没有性能损失�Q��ƈ提供了根据配�|�文�?meta.lua)�Q�自动生成route模块�Q�nginx.conf配置�Q�logger模块的功能，减轻了开发工作量�Q�避免重复手写大量易错的配置或字�W�串变量�Q�有助于多�h开发统一风格�?/p>

详情Github的README

功能

包括三个部分�Q�一个是web框架�Q�一个是代码自动生成模块�Q�一个是��改出的lua�q�程调试�?/a>�?/p>

web框架部分

只有1k行以下的代码�Q�集成了resty.template、resty.cookie、UUID生成�{�第三方模块。提供request、response、context、util�{�库方便开发�h员��用�?/p>

代码自动生成部分

可自动生�?

路由配置
日志记录模块
nginx.conf

主要目的在于解决nginx配置与lua代码的分��问�?在日志记录中��ؓ严重)�?/p>

开发�h员新建应用步骤：在App文�g夹下�Q�新建lua文�g�Q�然后填�?code>do_get()�Ҏ��卛_��处理相应的get��h��Q�所有配�|�在meta/meta.lua里面�?/p>

一个记录日志�ƈ�q�回1x1gif的例子：

-- �q�个文�g下面存放你的业务逻辑

-- �q�个文�g下面存放你的业务逻辑

local app = {}
function app.do_get(ctx) 
    local response = ctx.response
    local request = ctx.request
    local cookie = ctx.cookie

    response:set_content_type("text/html")
    local url = request.uri
    -- do some process

    ------------- write log ---------------
    -- my_log 日志模块是根据meta.lua自动生成�?
    local logger = ctx.get_logger('my_log')  
    local log_data = { a = "xxx"}
    logger.write(log_data, other_params)

    ------------- return empty gif -------
    response:empty_gif()
    response:close()
end

function app.do_post(ctx) end
function app.do_put(ctx) end
function app.do_delete(ctx) end

return app

lua�q�程调试�?/h3>

文档详细�?a >�q�里�Q�这里只演示下用法：
sh debug.sh�Q�然后运行用��L��序，成功�?br />

Lua Remote Debugger
Run the program you wish to debug
Paused at file a.lua
Type 'help' for commands
>

下一�? n

n
Paused at file a.lua line 8
8: print("Start")
>

查看源码 l

> l
source file: a.lua
2:
3:   local tab = {
4:       foo = 1,
5:       bar = 2
6:   }
7:
8:>> print("Start")
9:
10:  local bb = require "b"
11:  bb.foo()
12:
13:  for i = 1, 10 do
14:      print("Loop")

讄��断点 b : 查看 listb

> b a.lua:11
> listb
a.lua: 11

查看局部变�? local

> local
{
        ["tab"] = {
                {
                        ["bar"] = 2,
                        ["foo"] = 1,
                },
                "table: 0x2589ee0",
        },
}

查看变量 p tab

> p tab
{
["bar"] = 2,
["foo"] = 1,
}

�l�箋执行�Q�直到断�? r

> r
Paused at file a.lua line 11

叛_�� 2014-12-22 18:22 发表评论

函数式编�E�语�a�与副作用

叛_�� — Thu, 10 Jul 2014 07:16:00 GMT

�?/h3>
函数式编�E�语�a�有很多种定义�Q�宽泛的认�ؓ支持高阶函数�Q�higher-order function�Q�就��函数式语言的话�Q�大多数��C��语言都是支持函数式编�E�的�Q�例如C/C++�Q�java�Q�C#�Q�lua�Q�python�Q�JavaScript�Q�Scala�{�等。收紧一下定义的话，加入函数式语�a�要求的模式匹配、无副作用等要求�Q�那么剩下的��是�U�函数式语言�Q�比较常见的有Haskell�Q�Clean�{��?/p>
副作用是什么和��Z��么有些语�a�惛_��设计上避免副作用�q�个问题�Q�google能搜出好多博文，�q�里��׃��多说了。避免副作用可以带来一些实际的好处�Q�比如帮你大量改写代码什么的�Q�误�Q�，而且�q�gcc都有 _ _ attribute _ _((pure/const))的函数扩展嘛~。比如像erlang�q�种依赖于副作用�~�程的语�a��Q�虽然有着变量不可变这个特性，但是仍然可以��d��process携带的全局变量�Q�而且又没有一个好的类型系�l�，所以在�~�译的时候也不会怎么大改你的代码�Q�大多还是直译成字节码�?/p>
注：�q�篇文章不是软文�Q�不会用个g(f(x))��当例子�l�大家说无副作用多么多么好，可缓存结果拉(just a lie)~原生支持�q�行�?just another lie)�Q�这些都是扯淡而且不实际的。（有机会再写个博客专门谈谈�q�个�Q?/p>

正文

首先�Q�纯函数式的语言��没有副作用，它不会改变�Q何实际的东西�Q�当然也没有�Q�全局的）状态，�q�样的程序如果不配上代表副作用的输入输出当然是什么都�q�不了的。那么如何把副作用嵌入到本不该有副作用的语言设计中那�Q�当然不能直接赋��|��不然。。不然。。就变成命��o式语�a�了，而且函数式语�a��~�译中引以�ؓ豪的各种优化pass几乎都不能用了。那么把有副作用的函数标注出来？当然是一个办法。还有就是把副作用的表达式都包含在context中，随着函数传递，保证��序而且要保证引用的唯一性�?/p>

作�ؓ�U�函数式语言的代表，Haskell和Clean对于副作用的设计实现上差别很大，下面��q��单说一下它们的实现�Q�刨根究底，其实它们做的�q�是同一件事情�?/p>

haskell

Haskell中有一个很重要的概念：Monad�Q�取名自范畴论，可以�_�浅的认为它��是定义了一�p�d��的行为准则（>>= , return�Q�。Haskell中大多数语法�p�都是�ؓ了这个发明来的。Haskell的标准库中有很多关于副作用的�c�d��装�Q�比如IORef�Q�MVar�Q�IOMonad�{�等�Q�他们的内部实现都会归结到ST Monad�Q�State Thread Monad�Q�上�Q�正是这个与forall关键字的�l�合�Q�从而在语法上保证了副作用嵌入在�Q�纯�Q�Haskell中的正确性�?br style="box-sizing: border-box;" />ST Monad里面主要的定义是�Q?/p>

 newtype ST s a = ST (STRep s a)
 type STRep s a = State# s -> (# State# s, a #)
 data STRef s a = STRef (MutVar# s a)

 runST :: (forall s. ST s a) -> a
 runSTRep :: (forall s. STRep s a) -> a

其中最关键的是ST s a �?STref s a �q�两个数据结构�?/p>

先看看这个用法，let a0 = runST $ newSTRef 0�Q�会引发一个type error。因为runST的类型是(forall s.ST s a) -> a �Q�参�?code style="box-sizing: border-box; font-family: Menlo, Monaco, Consolas, 'Courier New', monospace; font-size: 14.5454540252686px; padding: 2px 4px; color: #c7254e; white-space: nowrap; border-radius: 2px; background-color: #f9f2f4;">(newSTRef 0)的类型是forall s. ST s (STRef s Int)�Q�最后求值后的结果是a0::STRef s Int�Q�显然s��q��了原本的定义域（也就是那层forall之外�Q�forall是Haskell中提�?*RankNType**的关键字�Q�。从而用户就只能使用下面的方式：

sumST :: Num a => [a] -> a
sumST xs = runST $ do          
    n <- newSTRef 0             
    forM_ xs $ \x -> do        
    modifySTRef n (+x)     
    readSTRef n

不用标出标出具体实现�Q�大家就能看��Z��做的事情��是做了一层wrapper�Q�在type checker上保证被box之后不会被用户取出来乱改。至于如何做到destructive in-place update�Q�这��属于编译器的黑��法了，语言�q�层只需保证语义��好。（**注：**ghc的实��C��Q�ST Monad标准库用��C��ghc的unsafe打头的内�|�函敎ͼ�

Clean

Clean语言用的�{�略是线性类型系�l�（linear type system�Q�，是Substructural type sysytem的一�U�。在Curry-Howard同构中对应Substructrual logic。这�cȝ��型系�l�中�Q�不但可以决定一个变量是什么类型，�q�可以约束被使用的次��C��序。在Mozilla出的Rust语言中，也可以看到线性类型的影子�?/p>

先�D个栗子~

transform :: (Int -> Int) *{#Int} -> *{#Int} 
transform f s
 | size s == 0 = s
 | otherwise   = if (s.[0] == 0)
                   {f i \\ i <-: s}
                   {f i \\ _ <-: s & i <- [s.[0]..]}

�Q�不要在意奇怪的语法�Q�｛｝里面其实就是list comprehension�Q?/p>

其中*��是uniqueness type的标注，�q�个函数的类型用haskell写出来就�?code style="box-sizing: border-box; font-family: Menlo, Monaco, Consolas, 'Courier New', monospace; font-size: 14.5454540252686px; padding: 2px 4px; color: #c7254e; white-space: nowrap; border-radius: 2px; background-color: #f9f2f4;">transform :: (Int -> Int) -> *[Int] -> *[Int]。这个函数虽然没有很好的看出uniqueness type的特性和传播性，但是作�ؓ��单的例子�Q�差不多��是�q�么回事�?br style="box-sizing: border-box;" />对于uniqueness type最直观的理解就是带有这个标识的�c�d��是不能参与到以后Graph Reduction中，而且会检��会不会有多�?#8220;变量”指向他。上面这个函��C��׃��会存在多个[Int]及相关的副本�{�着被回�Ӟ��而是会直接在�Q�ReadWorld中的�Q�内存上更新数据�?/p>

最�?/h3>
其实已经看出�Q�在上面Haskell与Clean的做法中�Q�一个是利用forall关键字与ST Monad+�~�译器黑��法�Q�另一个是build-in在类型系�l�中�Q�但是本质都是做了一件事情，��是保证RealWorld中的对象不会存在多个引用�Q�而且在Graph Reduction中不会被�~�译器搞乱顺序，�q�样��p��融入到整个纯函数式的大体�p�M��了�?/p>

本�h博客地址�Q�http://m.shnenglu.com/pwq1989/�Q?br />

叛_�� 2014-07-10 15:16 发表评论

叛_�� — Thu, 10 Jul 2014 07:14:00 GMT

摘要: 序类型系�l�在�~�程语言中是极�ؓ重要�Q�不单单是提供一个类型的标注或是方便�~�译�Q�更多时候是减少出错的可能。当�c�d��pȝ��强大��C��定程度，��可以进行所谓的“富类型编�E?#8221;�Q�比如在Haskell中只要编译器不报错，大致上程序也是没什么bug的。在常用的静态类型语�a�中，C++/java/C#�{�，虽然在新标准与新版本中支持类型的自动推导�Q�但是对�c�d��pȝ��及其推导�q�是�~�少更�ؓ直接的支持。很多常用语... 阅读全文

叛_�� 2014-07-10 15:14 发表评论

Haskell别扭的Y-Combinator

叛_�� — Wed, 26 Feb 2014 16:25:00 GMT

本�h博客地址�Q�http://m.shnenglu.com/pwq1989/

昨天在知乎上看到一个评论提��C��Haskell的YC实现�Q�就��L��了一下，然后��q��C��一个实玎ͼ�

1 newtype Mu a = Mu (Mu a -> a)
2
3 y :: (a -> a) -> a
4 y f = (\h -> h $ Mu h) (\x -> f . (\(Mu g) -> g) x $ x)

嗯，真是别扭

反观一下其他语�a�的YC写法�Q�就贴一个lua的把

1 Y = function (f)
2    return function()
3       return (function(x) return x(x) end)
(function(x) return f(function(y) return x(x)(y) end) end)()
4    end
5 end

虽然看�v来很长，但是�Ҏ��理解的多�Q�用λ表达式写出来��是�Q?a target="_blank" title="wiki">wiki�Q?br />λf. (λx. f (x x)) (λx. f (x x))
目的��是能做�?Y f = f (Y f) �q�种效果�Q�之所以这么写�Q�是��Z��不引入名字（引入了名字是�?�Q?br />
对于Haskell�q�种用HM�c�d��pȝ��的语�a�来说�Q�最大的问题��是不能递归的定义类型，同样是静态类型检查，比如C#�Q�就可以不费力的用Func和delegate做出来，haskell 额，��得扭曲的利用newtype Mu a = Mu (Mu a -> a) 来绕�q�类型检查（当然�Q�这个在Haskell中是不可能构造出一个实际的值的�Q��?br />
看下他是怎么做的�Q�我们来把他展开一下：
原式子：y f = (\h -> h $ Mu h) (\x -> f . (\(Mu g) -> g) x $ x)
带进去：y f = (\x -> f . (\(Mu g) -> g) x $ x) $ Mu (\x -> f . (\(Mu g) -> g) x $ x)
再来一遍：y f = f . (\x -> f . (\(Mu g) -> g) x $ x) $ Mu (\x -> f . (\(Mu g) -> g) x $ x)

�q�样子，最后那个式子的f. 后面的那部分�Q�提�?nbsp;(\x -> f . (\(Mu g) -> g) x $ x) �q�个公因�?��q��当于�?\h -> h $ Mu h) (\x -> f . (\(Mu g) -> g) x $ x)了（很像数学把，但也没多大关�p�）
最后，��可以做出y f = f . (y f)了�?br />
其实�q�个写法最关键的是 newtype Mu a = Mu (Mu a -> a)的作用，他是如何�l�过�c�d��查，但是又不在运行期构造一个��|��x��造也构造不出来�Q��?br />
来看下他的类型推��D��E�，y的类型是y :: (a -> a) -> a�Q�所以里面f��是 f :: a -> a�Q�所以f . (\(Mu g) -> g) x $ x �q�个式子可以推出里面的x�?x :: Mu a 然后(\(Mu g) -> g) x 取出里面�?a�Q�这样就成了
f a $ Mu a�Q�这时候Mu a = Mu (Mu a -> a) 递归定义的作用就发挥了，��Z��c�d��的推��|��l�箋��那个红色的a 推导�?Mu a -> a�Q�这�?f (Mu a -> a) 会返回一个Mu a -> a�Q�管他叫f'把，�q�样 f' (Mu a) ��p��回一�?a。有�Ҏ��前面�?\h -> h $ Mu h) �l�箋讲上面提到的a变成 Mu a -> a。就是把Mu a 喂给�?(Mu a -> a)�Q�最后还是返回一个a�?br />(>_< 其实上面�q�段是我�~�出来的�Q�我�~�不下去了，我不知道ghc是怎么做这个事情的�Q�等我有生之�q�看完slpj-book-1987再想�?

我们来应用一下，�q�回一个阶乘：

y (\f n -> if n <= 1 then 1 else n * f (n - 1)) 5�?
不难看出�Q�最�l�y的类型被特化成了 ((Int -> Int) -> (Int -> Int)) -> (Int -> Int)

叛_�� 2014-02-27 00:25 发表评论

C++ �?Memory Barrier

叛_�� — Tue, 07 Jan 2014 16:54:00 GMT

本�h博客地址�Q?a href="http://m.shnenglu.com/pwq1989/">http://m.shnenglu.com/pwq1989/

今天��里姐夫推荐了个C++的Actor框架 Theron�Q�就看了下源码，注释比代码还多，业界良心�?br />
源码我还没看完，��q��C��他的一个叫StringPool的类�Q�里面通过Ref来生成单例（Singleton�Q�，看了�?br />

static void Reference();�q�个函数实现的时候，�H�然脑洞一开�Q��ؓ啥没有Memory Barrier(wiki)�?br />
先脓一下他的代码：

1 StringPool *StringPool::smInstance = 0;
2 Mutex StringPool::smReferenceMutex;
3 uint32_t StringPool::smReferenceCount = 0;
4
5
6 void StringPool::Reference()
7 {
8 Lock lock(smReferenceMutex);
9
10     // Create the singleton instance if this is the first reference.
11     if (smReferenceCount++ == 0)
12     {
13         IAllocator *const allocator(AllocatorManager::GetCache());
14         void *const memory(allocator->AllocateAligned(sizeof(StringPool), THERON_CACHELINE_ALIGNMENT));
15         smInstance = new (memory) StringPool();
16     }
17 }

我们先不讨论�q�一�D�代码，先看看下面的�Q?br />
大家如果看过C++的Double Check Lock不可靠的�q�篇paper(地址)�Q�作者给出的解决�Ҏ��是这��L��Q?br />

1     // First check
2     TYPE* tmp = instance_;
3     // Insert the CPU-specific memory barrier instruction
4     // to synchronize the cache lines on multi-processor.
5     asm ("memoryBarrier");
6     if (tmp == 0) {
7         // Ensure serialization (guard
8         // constructor acquires lock_).
9         Guard guard (lock_);
10         // Double check.
11         tmp = instance_;
12         if (tmp == 0) {
13                 tmp = new TYPE;
14                 // Insert the CPU-specific memory barrier instruction
15                 // to synchronize the cache lines on multi-processor.
16                 asm ("memoryBarrier");
17                 instance_ = tmp;
18         }
19     return tmp;

其实�q�两个Memory Barrier不用全屏障，�W�一个用��d��障rmb()��好了。第二个需要一个写屏障wmb()�?br />
我们都知道mb�q�个东西是�ؓ了防止CPU�U�别的指令�ؕ序被发明出来的，�Q�另一个是�~�译器��别的�Q�和本篇文章没有多大关系�Q�有兴趣大家可以�ȝ��I�下�Q�，实现也是由��^台相关的�Ҏ��指��o(mfence�q�样�?�l�成的�?br />
之所以要写成�q�样�Q�第二个mb()是�ؓ了防止在构造函数完成之前提前对目标赋��|��但ctor�q�没完成�Q�就被挂��P��然后�W�二个线�E�访问的时候，认�ؓ已经构造完毕，�q�而��用不完整的数据引发奇怪的错误�?br />
(�W�一个rmb()的作用我觉得是可有可无，加上可能是�ؓ了效率把�Q�猜�Q�，强制��h��d��instance_的��|��防止�q�入�W�一个check�ȝ��争那个锁�Q�不加也是不会有错的�Q�因为POSIX规定mutex之间必须保持内存的可见性，所以是不需要担心读到脏数据) <-- �q�段是个人意见，�Ƣ迎修正�?br />
下面��是我趴了半下午才想明白的问题。。。�ؓ啥Theron中那�D�代码（�W�一�D�代码）不需要在lock中添加mb()�Q�后来往下翻了下�Q�发现StringPool的构造函数是�I�的。。根本就没有内存的写入，当然��׃��需要wmb()了�?br />

可见�Q�C++的多�U�程�~�程�Q�好�?br />

叛_�� 2014-01-08 00:54 发表评论

�Q�二�Q�Luajit中的好轮子DynASM

叛_�� — Sat, 30 Nov 2013 04:49:00 GMT

本�h博客地址�Q?a href="http://m.shnenglu.com/pwq1989/">http://m.shnenglu.com/pwq1989/

上一��对Luajit的代码结构和�~�译�q�程做了��单的描述�Q�这一��就讲一下buildvm在第一步预处理dasc文�g的过�E�和DynASM�q�个轮子�?br />
官方�q�接�Q?a >http://luajit.org/dynasm.html

是�ؓ了让你更优雅的C里面撸汇�~�的一个工��P��我记得以前看�q�一个老外的blog�Ҏ��q�同样功能的jit code generator的语法，Luajit的作者显然品位还是很高的�?br />
我们先来看看如果不用工具��生生撸代码的话会发生什么�?br />1、你往一�D�内存里面写0xB8,0x00,0x01....
2、你在文仉��定义好多label�Q�写个copy section的宏往内存里面复制�Q�你�q�不能确定里面到底是什么。（哦。。这个的术语叫Threaded。。。）

然后再对比下AsmJit或�?a title="Xbyak" target="_blank">Xbyak的例子看看（他们的功能差不多�Q�，DynASM�q�提供了.marco实现�Q�就会发现语法真是sweeeet~

�q�是我写着玩的一个草泥马语jit解释器（https://github.com/pwq1989/GMHjit�Q�语法真是清新自然啊�Q�如果你想看工业�U�的应用�Q�可以看看Google的Haberman写的protobuf的upb库，里面用DynASM�q�行了jit�Q�号�U�快了多��多��（不去考证了）�Q�或者是agentzh写的sregex正则库，也是用它做了jit。一般来说DSL配上jit的话一定会快很多就错不了了�?br />
下面�l�一个DynASM的Demo�E�序�Q�摘抄自�q�个blog�Q?br />

1 // DynASM directives.
2 |.arch x64
3 |.actionlist actions
4
5 // This define affects "|" DynASM lines.  "Dst" must
6 // resolve to a dasm_State** that points to a dasm_State*.
7 #define Dst &state
8
9 int main(int argc, char *argv[]) {
10   if (argc < 2) {
11     fprintf(stderr, "Usage: jit1 \n");
12     return 1;
13   }
14
15   int num = atoi(argv[1]);
16   dasm_State *state;
17   initjit(&state, actions);
18
19   // Generate the code.  Each line appends to a buffer in
20   // "state", but the code in this buffer is not fully linked
21   // yet because labels can be referenced before they are
22   // defined.
23   //
24   // The run-time value of C variable "num" is substituted
25   // into the immediate value of the instruction.
26   |  mov eax, num
27   |  ret
28
29   // Link the code and write it to executable memory.
30   int (*fptr)() = jitcode(&state);
31
32   // Call the JIT-ted function.
33   int ret = fptr();
34   assert(num == ret);
35
36   // Free the machine code.
37   free_jitcode(fptr);
38
39   return ret;
40 }

预处理之后那��׃��变成�q�样子：

1 //|.arch x64
2 //|.actionlist actions
3 static const unsigned char actions[4] = {
4   184,237,195,255
5 };
6
7 // []
8
9 //|  mov eax, num
10 //|  ret
11 dasm_put(Dst, 0, num);

dasm_put��是把num参数和actions[]一��h��入了Dst�Q?define Dst &state�Q�的制定的内存中�Q�这时候已�l�是机器码的形式了�?br />下面是对于acitons[]数组内容的解释：
184(B8)-- mov eax, [immediate] 指��o的第一个字�?br />237 -- 内置的标志DASM_IMM_D, 指明应该攑օ�一�?字节宽度的参敎ͼ�与上一条指令完成一个MOV
195(C3)-- 对应ret指��o
255 -- 内置的标志DASM_STOP

以上��是最��单的例子�Q�dasm_growpc()是内�|�的函数�Q�用来增长maxpc, �q�样在程序里面就可以方便写出jmp => label �q�样的指令了�?br />
�׃��DynASM的文档很��，�q怺��q�有几个例子�Q�除了例子唯一能看的就是源码了�Q�所以在用的时候出现问题是很痛苦的。。当时写GMHjit��发��C��蛋疼的pre-process period bug�Q�后来绕�q�去了�?br />
源码文�g有这么几�?br />-- dynasm.lua
-- dynasm_proto.h
-- dynasm_*.lua
-- dynasm_*.h // * x64 x86 ppc mips arm �{�target

用�v来就是lua dynasm.lua a.dasm > a.h

下面��׃��dynasm.lua开始分析下他的源码

入口是parseargs函数�Q�里面给的g_opt参数赋默认的��|��一个repeat 中调用parseopt解析参数�Q�opt_map��是option对args的函数映��?br />
函数wline�Q�wcomment�Q�wsync�Q�wdumplines都是对输出的目标文�g的操作�?br />
真正的主函数�?translate�Q�把input file变成 output file�Q�在readfile中的doline函数是真正的处理�q�程�Q�里面判断是否是Assembler line之后Emit C code�Q�调用dostmt(aline)。里面��l�有map_coreop[*]来处理section macro arch nop_ error_1 include if endif elseif �{�关键字�Q�想深入研究的可以自己去看，其中在loadarch中根据arch加蝲不同的lua�?br />
如果arch是x64的话�Q�本质还是require x86
来看dasm_x86.lua文�g

_M.mergemaps�q�是关键的方法，讄��?个Map的元�Ҏ��Q�然后返回，相当于是把方法绑定在table里面传递了出去。处理后文�g中关键的actionlist[]数组和Dasm_put(Dst, ...)的输出就是这个lua文�g的方法�?/div>里面提供了很多dump�Ҏ��Q�可以供我们遇到问题时候调试处理过�E��?br />

action_names��是以后生成的action_list中的内置标志定义�Q�必��M��dasm_x86.h中的enum定义一致�?/div>表明了代表的参数和长度等信息�?br />�q�个文�g里面所有的函数��是做了一件事�Q�把你的 |... �q�样子的代码处理成数�l�输出到目标文�g中（我是汇编渣渣�Q�里面貌似支持SSE2�?�?+�Q�看不懂�Q�等��C��后看到traced jit的时候再�ȝ��手册把）

预处理完成之后，��是#include "dasm_x86.h"�Q�里面有最关键的dasm_State�l�构体的定义�Q�几乎里面所有的函数都是对外的API�Q�有init,setup,free�{�等�Q�除��d��始化与free之外�Q�有三个步骤是需要出现在你都代码中：
1、dasm_put(Dst,...) �q�个是自动生成的�Q�不用我们操心，�Ҏ��actionlist[]和运行时的参数写入到Dst指定的内存（Dst->section�Q�中.
2、dasm_link() �W�二个参数是�q�回的代码长度大��，�q�个函数把section合�ƈ��C��P��处理偏移�{�等�?br />3、dasm_encode() �W�二个参数是一个接受encode输出的buffer指针�?br />
然后��可以用一个函数指针，比如声明一�?int (*f)(*int), int ret = f(param) 直接�q�行刚刚生成的机器码了�?br />

叛_�� 2013-11-30 12:49 发表评论

�Q�一�Q�初识Luajit

叛_�� — Thu, 28 Nov 2013 11:23:00 GMT

本�h博客地址�Q?a href="http://m.shnenglu.com/pwq1989/">http://m.shnenglu.com/pwq1989/

�W�一��对Luajit做一个大概的介绍�Q�我目前也正在慢慢的读通源码中�Q�以后发��C��C��西就补充在这里�?br />
大家可以从官�|�下载到源码�Q?a >http://luajit.org/�Q�，也可以从Github�Q?a >https://github.com/LuaDist/luajit�Q�down下来�Q�顺便还可以看下commit记录�?br />
大家对着luajit的wiki�l�合源码看的话会更好些，因�ؓ。。文档太特么��了�Q�！

目录�l�构�Q?br /> -- src
-- host
-- jit
*.c
*.h
*.dasc
�{�等�Q�别的不是很重要

最开始我是从main函数开始看的，然后。。碰了一��d��灎ͼ�后来研究下他的makefile�Q�发��C��是这样子的编译的�Q�脓一下关键的msvcbuild.bat的代码（�q�个更容易看懂）

1 :X64
2 minilua %DASM% -LN %DASMFLAGS% -o host\buildvm_arch.h vm_x86.dasc
3 @if errorlevel 1 goto :BAD
4
5 %LJCOMPILE% /I "." /I %DASMDIR% host\buildvm*.c
6 @if errorlevel 1 goto :BAD
7 %LJLINK% /out:buildvm.exe buildvm*.obj
8 @if errorlevel 1 goto :BAD
9 if exist buildvm.exe.manifest^
10 %LJMT% -manifest buildvm.exe.manifest -outputresource:buildvm.exe
11
12 buildvm -m peobj -o lj_vm.obj
13 @if errorlevel 1 goto :BAD
14 buildvm -m bcdef -o lj_bcdef.h %ALL_LIB%
15 @if errorlevel 1 goto :BAD
16 buildvm -m ffdef -o lj_ffdef.h %ALL_LIB%
17 @if errorlevel 1 goto :BAD
18 buildvm -m libdef -o lj_libdef.h %ALL_LIB%
19 @if errorlevel 1 goto :BAD
20 buildvm -m recdef -o lj_recdef.h %ALL_LIB%
21 @if errorlevel 1 goto :BAD
22 buildvm -m vmdef -o jit\vmdef.lua %ALL_LIB%
23 @if errorlevel 1 goto :BAD
24 buildvm -m folddef -o lj_folddef.h lj_opt_fold.c
25 @if errorlevel 1 goto :BAD

先创��Z��一个buildvm.exe的中间工��P��来自动生成代码，分别生成�?span style="font-size: 13.333333015441895px; background-color: #eeeeee;">lj_vm.obj�Q?/span>lj_bcdef.h�Q?/span>lj_ffdef.h �Q?/span>lj_recdef.h �Q?/span>jit\vmdef.lua�Q?/span>lj_folddef.h�Q?lj_libdef.h

其中lv_vm.obj是依赖于host\buildvm_arch.h的，�q�个是用DynASM预处理vm_x86.dasc生成的，�q�个工具的具体分析会在下一��博客提及�?br />
先来看下上面自动生成的代码：
lj_bcdef.h:

1 LJ_DATADEF const uint16_t lj_bc_ofs[] = {
2 0,
3 71,
4 142,
5 213,
6 284,
7
8 };
9
10 LJ_DATADEF const uint16_t lj_bc_mode[] = {
11 BCDEF(BCMODE)
12 BCMODE_FF,
13 BCMODE_FF,
14 BCMODE_FF,
15 BCMODE_FF,
16 BCMODE_FF,
17
18 };

lj_bc_ofs[]可能是bc在vm代码�D�中的偏�U�量�Q�这个我�q�没深入�q�去调试一下）�Q�vm的一部分是用DynASM直接撸汇�~�撸出来的，wiki中也有提��C��一步jit化的opcode�{�等�?br />

lj_bc_mode[]的用来根据压�~�后的bytecode构造，分离出操作数�Q�第一行的两个宏的定义�?br />

#define BCMODE(name, ma, mb, mc, mm) \

(BCM##ma|(BCM##mb<<3)|(BCM##mc<<7)|(MM_##mm<<11)),

#define BCMODE_FF 0

#define BCDEF(_) \

/* Comparison ops. ORDER OPR. */ \

_(ISLT, var, ___, var, lt) \

_(ISGE, var, ___, var, lt) \

_(ISLE, var, ___, var, le) \

_(ISGT, var, ___, var, le) \
...
��M��是充斥着各种拼接��h��的宏

lj_ffdef.h:

1 FFDEF(assert)
2 FFDEF(type)
3 FFDEF(next)
4 FFDEF(pairs)
5 FFDEF(ipairs_aux)
6

FFDEF的定义是�?br />

1 /* Fast function ID. */
2 typedef enum {
3   FF_LUA_ = FF_LUA,    /* Lua function (must be 0). */
4   FF_C_ = FF_C,        /* Regular C function (must be 1). */
5 #define FFDEF(name)    FF_##name,
6 #include "lj_ffdef.h"
7   FF__MAX
8 } FastFunc;

差不多就是用FF_##name把上面的名字拼接��h��Q�然后生成在enum里面�Q�这样就能当成是数字�Q�在数组中迅速找到入口了

vmdef.lua:
�q�个里面内容��׃��贴了�Q�包括bcname,irname,irfpm,irfield,ircall 的定义，在jit文�g夹下面，用于调试�{�，比如在dump.lua中就有用�?br />

local jit = require("jit")
assert(jit.version_num == 20002, "LuaJIT core/library version mismatch")
local jutil = require("jit.util")
local vmdef = require("jit.vmdef") // ← ← ← ←

当你用luajit -jdump的时候，��是调用的lua的jit库里面的lua函数

lj_recdef.h:

1 static const uint16_t recff_idmap[] = {
2 0,
3 0x0100,
4 0x0200,
5 0x0300,
6 0,
7 0,
8 0x0400,
9
10 };
11
12 static const RecordFunc recff_func[] = {
13 recff_nyi,
14 recff_c,
15 recff_assert,
16 recff_type,
17 recff_ipairs_aux,
18
19 };

其中recff_func[]是被注册的被traced jit 跟踪的函敎ͼ�具体可是在lj_ffrecord.c里面看到
recff_idmap[]被用在lj_ffrecord_func�q�个函数中，有一个关键的数据�l�构RecordFFData�Q�用来记录在trace�q�程中被调用函数的参数和�q�回��g��敎ͼ�和一些辅助数据，opcode�Q�literal�{�等。通过recff_idmap[]保存的值来区分函数�Q�待仔细研究�Q?br />

lj_folddef.h:

1 static const FoldFunc fold_func[] = {
2   fold_kfold_numarith,
3   fold_kfold_ldexp,
4   fold_kfold_fpmath,
5   fold_kfold_numpow,
6
7 };
8
9 static const uint32_t fold_hash[916] = {
10 0xffffffff,
11 0xffffffff,
12 0x5b4c8016,
13
14 };

用在FOLD optimization中，见lj_opt_fold.c�Q�主要在

1 if ((fh & 0xffffff) == k || (fh = fold_hash[h+1], (fh & 0xffffff) == k)) {
2       ref = (IRRef)tref_ref(fold_func[fh >> 24](J));
3       if (ref != NEXTFOLD)
4     break;
5     }

是根据数�l�偏�U�获取函敎ͼ�直接执行�?br />�Q�这个Optimation略复杂，以后的博文中再说�Q?br />
----------------------------------------分割�U?------------------------------------------

以上��是buildvm生成代码�Q�在很多.c的文件中�Q�他加入了一些无意义的MARCO�Q�目的是��Z��能被buildvm识别�?br />
下面说说src根目录下面的文�g�Q?br />
lauxlib.h�Q?br />用户开发扩展和与C交互的时候的头文�?br />
lib_*.h /.c:
��֐�思义�Q�就是利用LuaAPI写的内部标准库，会在�Ҏ��上表明是否会被trace ( LJLIB_REC(.) )�?br />
ljamalg.c:
文�g的合�q?br />
lj_alloc.h /.c:
定制的Memory Allocator

lj_api.c:

Public Lua/C API.

lj_arch.h:

Target architecture selection

lj_jit.h:
jit�~�译器里面数据结构的定义

lj_asm.h/ .c lj_asm_*.c lj_emit_*.h lj_target_*.h/.c :
��IR�~�译成Machine Code�Q�关键的数据�l�构ASMState�Q�线性扫描的O(n2)分配��法

lj_bc.h/ .c�Q?br />Luajit字节码的定义和内存布局

lj_bcdump.c lj_bcread.c lj_bcwrite.c:
围绕着字节码的操作

lj_carith.c:

C实现的一些数字运��?/div>
lj_ccall.h/ .c lj_ccallback.h / .c :
FFI C语言函数调用和回调绑�?br />
lj_debug.h/.c :
调试与自省用

lj_def.h:
�q�个很重要，重要的类型和一些宏定义在这�?br />
lj_c*.h/ .c:
和C语言先关的，比如�c�d��转化�Q�char��理�Q�数据管�?br />
lj_frame.h:
Luajit的栈帧管�?br />
lj_func.h/.c:
Function handle和闭包有关的upvalue数据�l�构

lj_gc.h/.c:
GC相关�Q�GC可以看下luajit的wiki�Q�里面涉及不��增量式GC的paper和作者的看法

lj_gdbjit.h/.c :
对gdb的支�?br />
lj_ir*.h/.c:
SSA�Q�IR相关�Q�这个和bytecode�q�是不一��L��Q�操作和优化

lj_lex.h/.c lj_parse.h/.c:
lexer和parser

lj_mcode.h/.c:
Machine Code��理

lj_opt_*.h:
各种bytecode层面上的优化

lj_snap.h/.c:
快照支持

lj_state.h/.c:
LuaState和Stack的操�?br />
lj_str*.h/.c lj_tab.h/.c:
原生�c�d��string和table操作

lj_udata.h/.c:
�c�d��user data的操�?br />
lj_vm.h/.c lj_vmevent.h/.c:
vm的API和事件注册（lj_vmevent_send�Q?br />
lj_vmmath.h/.c�Q?br />对vm支持的math�?br />
lua.h:
luaState�{�基本的Lua�l�构

lualib.h:
和Lua一��P��标准库的API

luajit.h:
luajit 的public API

vm_*.dasc:
�~�译期被DynASM预处理的源文�Ӟ��下一��讲DynASM时候介�l�dasc文�g

wmain.c:
windows下面的main入口

和Trace相关的：
lj_crecord.h/.c �Q?C操作的trace record
lj_dispatch.h/.c : 指��o分发�Q�调用ASMFuction�Q�处理指令前的hook和记录trace用的hot count�Q�有一个重要的数据�l�构 GG_State
lj_ff*.h/.c: 上面讲lj_ffdef.h的时候提�q�，trace的时�?记录Fast Function的调用记�?br />lj_trace.h/.c: trace的具体过�E?br />lj_traceerr.h : trace error

叛_�� 2013-11-28 19:23 发表评论