青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

天地之靈

LuaJIT之callback大坑繞路記

近期在做node.jsLuaJIT portLuaJIT是當前已知最快的腳本JIT編譯器,拿來做服務器再好不過。
發(fā)現(xiàn)node.js底層所用的庫libuv簡直是個神器,包含了網(wǎng)絡、文件系統(tǒng)、計時器等等一堆堆的有用功能,windows、linux、MacOS等均支持,而且是純C的API,和LuaJIT結合會比較友好,理論上不用任何額外的C代碼,依靠ffi庫就可以搞定,經(jīng)過試驗也確實如此,于此同時發(fā)現(xiàn)LuaJIT也真神器也,居然可以直接把Lua函數(shù)當做C函數(shù)指針傳進去當回調!正當我躊躇滿志的準備跑下性能測試就開始做上層封裝的時候,結果楞了:

1、Lua版的idle示例,等待一個idle事件被調用1e7(一千萬)次,在C下只需要區(qū)區(qū)0.1秒,在lua下需要足足30秒多!并且內存在這個過程里猛漲猛漲再猛漲,最后的gc過程耗費了更久的時間!
    原版的在這里,Lua版的在這里
2、嘗試添加1000次idle事件,LuaJIT直接報錯:too many callbacks
3、其他不同的嘗試均體現(xiàn),性能嚴重不過關。

然后在ffi的說明里發(fā)現(xiàn)了這個,提到了幾個問題:
1、callback占用某些總量有限的系統(tǒng)資源,所以用過的callback需要釋放,并且同時存在的callback只能有500-1000個。
2、callback函數(shù)不會被自動gc,需要用一些麻煩的辦法手動來釋放
3、callback會很慢。文中提到了類似于lua_call的消耗及argument marshalling的消耗。這點會在下面詳細講述。

總的來說,luajit里的callback,是在內存里生成了一小段代碼,這小段代碼的功能是把參數(shù)轉換好,然后再調用對應的lua函數(shù)。(還有一些奇奇怪怪的開銷,我個人認為這才是主要開銷,后面會詳細講述),因此有同時存在的總量上限(雖然我也不明白為什么就因此了,但大致就是那么回事吧),并且很慢,很慢,很,慢,很……慢……

基本上,解決方法就那么幾種:
1、做一些特定的封裝,用C額外編寫一個函數(shù)做一些處理,在這個函數(shù)里用其他方式(lua_pcall等)去調用,這樣調用參數(shù)的類型會受限一些。經(jīng)測試這個只能提升50%左右(距離之前的300倍差距還差得遠……),主要是還有一些關鍵的開銷(在下面詳細講述)無法避免。
2、改寫被使用的C庫,拒絕回調,用其他辦法實現(xiàn)。這是LuaJIT官方所推薦的,原文如下:
For new designs avoid push-style APIs: a C function repeatedly calling a callback for each result. Instead use pull-style APIs: call a C function repeatedly to get a new result. Calls from Lua to C via the FFI are much faster than the other way round. Most well-designed libraries already use pull-style APIs (read/write, get/put).
但像libuv這樣的庫,改寫難度有些大……關鍵在于重新設計整個結構為pull-style很困難,同時會導致相關文檔廢棄,增加了額外的工作量。
3、小幅度改寫使用的C庫,公開一些必須的內容,然后把其中的一部分在lua里實現(xiàn),確保所有callback調用的時機均在lua中,廢棄掉原始的C API。這樣相對來說不用改變任何的接口,但是工作量也不小,取決于庫的復雜程度。

最終我在node.lua中選擇了方案3。事實證明效果確實很好,在還有一些會帶來額外開銷的功能沒加進去的情況下,之前的test優(yōu)化到了0.08s左右,預計全部完成后開銷在0.15s之內,很接近純C實現(xiàn)的性能。

然后我又做了若干實驗,并且在freelist里和LuaJIT的創(chuàng)始人Mike請教了一會,得到了一些結論:

1、回調的argument marshalling是重大瓶頸之一。雖然不知道為什么,Lua對C的調用,返回值的marshalling性能很高,我推測是由于原因3。
2、把Lua-function cast成C function pointer是另一重大瓶頸,如果存在反復的類型轉換,這里會很要命。這里包含了之前所說的生成指令序列的開銷,但cast本身也會具有巨大的開銷,我嘗試將一個C function cast成 C function pointer,都帶來了極大的開銷。據(jù)Mike說,這個開銷也是原因3導致的
3、導致程序運行很慢的原因,歸根結底:某些行為會導致JIT失效!在沒有JIT的情況下,本身運行性能差不多就有幾十倍的損失,再加上一些額外開銷會因此被放大,最后就得到了不可接受的性能損失……

最后總結,目前應該在LuaJIT的ffi庫中避免使用函數(shù)指針,使用Lua本身來封裝回調函數(shù)(如果接口需要),方可獲得LuaJIT提供的卓越性能。

posted on 2013-02-24 14:36 天地之靈 閱讀(19723) 評論(7)  編輯 收藏 引用

評論

# re: LuaJIT之callback大坑繞路記 2013-02-25 09:42 emptyhua

和這個項目比做了哪些改進呢?https://github.com/luvit/luvit  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2013-02-25 10:08 天地之靈

@emptyhua

原本的目的是多用ffi,少對libuv庫進行修改,避免對lua C API的調用,看能否取得更好的擴展性和性能提升。
在之前的項目里采用C API去封裝回調,遇到了一些有關coroutine的坑,譬如在coroutine里開始一個主循環(huán),在另一個coroutine里再注冊一些回調,使用C API有時候很難完美解決。

所以這個項目的思路是,盡可能直接使用第三方的C庫,使用ffi來訪問API,而非去實現(xiàn)一個Lua C Module,這也是LuaJIT官方所推薦的,這會讓luaJIT的優(yōu)化達到極致(C API訪問,以及對Lua-C Module里函數(shù)訪問時的傳參,會有不能被LuaJIT編譯優(yōu)化的開銷,雖然這個開銷對于非頻繁調用的內容并不大)
另外一個原本預期中的好處是,希望這個項目最終能只有Lua代碼,以及l(fā)uajit主程序、編譯好的其他庫的動態(tài)鏈接版本,便于去修改、發(fā)布及調試。只是目前來看完全這么做還是有點困難,因為現(xiàn)在已經(jīng)對libuv做了一些修改。但是使用其他callback不那么常見的庫可能會相對輕松。我可能再進行一些嘗試后再決定如何折衷,或者放棄這個,去fork和參與luvit。

另外luvit與我這邊的實驗均證明,使用LuaJIT會取得比V8好數(shù)倍的性能~所以這個方向應該是沒錯的。  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2013-03-01 06:04 essayforce

最終能只有Lua代碼,以及l(fā)\主  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2013-05-14 14:42 imjj

我測試的結果跟你有所不同,參看
https://bitbucket.org/lijia/pieceofcode/src/d02e87d97ab38226f44549b9f5ea0a4d408482a5/lua-uv-test?at=master  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2013-08-22 13:26 天地之靈

@imjj
原因不明。我這里的性能明顯下降應該有gc的影響。  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2014-10-01 00:31 jiakai1000@gmail.com

你好,我想請問:
3、小幅度改寫使用的C庫,公開一些必須的內容,然后把其中的一部分在lua里實現(xiàn),確保所有callback調用的時機均在lua中,廢棄掉原始的C API。這樣相對來說不用改變任何的接口,但是工作量也不小,取決于庫的復雜程度。
"確保所有callback調用的時機均在lua中",能說一下具體是怎么做的嗎?這樣的話就不需要從lua調用c了嗎?
謝謝。  回復  更多評論   

# re: LuaJIT之callback大坑繞路記 2015-09-10 23:08 se

sb,沒事找事,秀技能?  回復  更多評論   


只有注冊用戶登錄后才能發(fā)表評論。
網(wǎng)站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


<2025年11月>
2627282930311
2345678
9101112131415
16171819202122
23242526272829
30123456

導航

統(tǒng)計

常用鏈接

留言簿(3)

隨筆檔案

文章檔案

搜索

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲精品裸体| 国产精品卡一卡二| 91久久午夜| 亚洲国产91精品在线观看| 欧美风情在线| 亚洲二区视频| 一区二区三区不卡视频在线观看| 亚洲国产成人tv| 亚洲欧洲在线免费| 亚洲永久免费精品| 亚洲在线成人精品| 欧美一级久久久| 久久婷婷久久| 欧美大片91| 亚洲国产天堂久久综合| 日韩一级欧洲| 久久久国产91| 欧美电影在线观看完整版| 欧美三区在线视频| 国产女主播一区二区三区| 一区二区三区在线不卡| 91久久精品国产91久久性色tv| 亚洲另类黄色| 久久精品99国产精品日本| 美女精品在线观看| 中文一区二区| 久久婷婷丁香| 国产精品毛片a∨一区二区三区|国 | 西西人体一区二区| 欧美**字幕| 亚洲影院色在线观看免费| 久久精品五月婷婷| 国产精品二区二区三区| 亚洲欧洲午夜| 久久天天躁狠狠躁夜夜av| 日韩视频永久免费观看| 久久免费视频这里只有精品| 国产精品福利网| 日韩视频一区二区三区在线播放免费观看 | 麻豆成人av| 亚洲一区在线播放| 欧美久久久久久久久久| 在线精品国产成人综合| 亚洲欧美日韩国产| 亚洲人成人99网站| 麻豆av一区二区三区久久| 国产日韩欧美夫妻视频在线观看| 亚洲精品中文字幕有码专区| 美玉足脚交一区二区三区图片| 亚洲性线免费观看视频成熟| 欧美电影免费| 亚洲高清不卡一区| 久久国产精品99久久久久久老狼| 99亚洲一区二区| 欧美伦理影院| 99香蕉国产精品偷在线观看| 亚洲成在人线av| 久久久五月婷婷| 欧美性猛交xxxx免费看久久久| 亚洲激情欧美| 亚洲高清久久久| 美女福利精品视频| 久久不射中文字幕| 国内自拍视频一区二区三区| 久久av一区二区三区漫画| 亚洲欧美日韩精品在线| 国产精品美女久久| 亚洲影院一区| 亚洲直播在线一区| 国产精品一区2区| 久久国产毛片| 香蕉国产精品偷在线观看不卡| 国产伦精品一区二区三区高清| 欧美在线一区二区| 欧美一进一出视频| 伊人久久婷婷| 欧美国产日本高清在线| 欧美寡妇偷汉性猛交| 一区二区三区国产精品| 一二三区精品福利视频| 国产精品天天看| 免费观看亚洲视频大全| 麻豆乱码国产一区二区三区| 9久re热视频在线精品| 一本色道久久综合亚洲91| 国产日韩欧美不卡在线| 欧美成人有码| 国产精品福利在线观看| 久久久精品国产一区二区三区| 久久精品亚洲精品国产欧美kt∨| 亚洲黄色三级| 国产精品99久久久久久久久久久久 | 在线视频一区观看| 亚洲一区二区三区精品动漫| 国产综合香蕉五月婷在线| 欧美激情自拍| 国产精品久久久久9999| 欧美成人精品一区| 欧美三级日本三级少妇99| 久久精品国产一区二区电影| 欧美超级免费视 在线| 午夜激情久久久| 美女啪啪无遮挡免费久久网站| 亚洲视频第一页| 久久国产一区二区| 亚洲香蕉网站| 美女诱惑一区| 久久爱www.| 欧美日本韩国一区| 老司机久久99久久精品播放免费| 欧美丝袜一区二区三区| 蜜臀av性久久久久蜜臀aⅴ| 欧美视频亚洲视频| 欧美国产高潮xxxx1819| 国产一区美女| 亚洲一区3d动漫同人无遮挡| 亚洲精品国产精品国自产观看浪潮| 欧美一级久久久久久久大片| 亚洲少妇自拍| 欧美国产丝袜视频| 免费成人黄色片| 国产综合网站| 亚洲欧美日韩国产精品| 国产精品一区二区视频| 亚洲国产精品激情在线观看| 狠狠久久亚洲欧美专区| 亚洲欧美综合精品久久成人| 在线视频一区二区| 欧美黄色影院| 亚洲成色www8888| 激情五月婷婷综合| 亚洲欧美日韩在线不卡| 午夜视频精品| 国产精品s色| 亚洲一级片在线观看| 亚洲欧美国产精品专区久久| 欧美日韩一区二区三区在线观看免| 美乳少妇欧美精品| 娇妻被交换粗又大又硬视频欧美| 欧美专区亚洲专区| 久久久久久婷| 在线不卡亚洲| 免费看的黄色欧美网站| 亚洲福利视频在线| 99日韩精品| 国产精品国码视频| 亚洲欧美一区二区三区久久| 欧美在线视频播放| 激情久久综艺| 欧美成人免费观看| 亚洲蜜桃精久久久久久久| 亚洲丝袜av一区| 国产欧美日韩激情| 久久久久久久欧美精品| 欧美国产精品日韩| 日韩视频在线一区| 国产精品美女主播| 久久精品欧洲| 亚洲国产精品一区| 亚洲免费视频观看| 激情丁香综合| 欧美精品一区二区三| 亚洲少妇最新在线视频| 久久精品中文字幕一区二区三区| 一区二区三区在线高清| 欧美成人中文字幕| 亚洲最新视频在线播放| 久久嫩草精品久久久精品一| 亚洲激情第一区| 国产精品视频999| 久久综合一区| 一级成人国产| 欧美va亚洲va国产综合| 亚洲性视频h| 激情视频一区| 国产精品女人毛片| 美女国内精品自产拍在线播放| 99这里只有精品| 久久综合伊人77777| 在线亚洲观看| 黄色资源网久久资源365| 欧美日韩国产一级片| 久久精品一区二区| 艳女tv在线观看国产一区| 久久频这里精品99香蕉| 亚洲天堂久久| 在线观看成人小视频| 国产精品v欧美精品v日韩精品| 久久久久免费视频| 亚洲视频一区二区免费在线观看| 欧美a级片网站| 欧美一区二区视频在线观看2020| 亚洲日本成人网| 国产视频在线观看一区二区三区| 欧美日韩大陆在线| 美女国产一区| 久久另类ts人妖一区二区| 久久人人爽人人爽爽久久| 亚洲综合第一| 羞羞视频在线观看欧美|