青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

馭風萬里無垠

Unix文本處理之利器-awk/gawk

日常在shell中使用awk基本是家常便飯了,但是詳細的寫一些小程序還是第一次,總體是下來,還是深深得被這門年齡比自己都要大的工具語言的魅力所折服(since 1977)。作者中最引人注目的當屬鼎鼎大名的Brian W. Kernighan (即K的簡稱來源)。目前所用的版本大多是gawk或者nawk.

作為一門微型且完整的編程語言,awk可以用數(shù)行代碼就完成其他語言需要數(shù)倍的LOC才能完成的工作。其設計哲學也是比較特殊的,核心是data-driven的,并且采用了和C類似的語法來組織。它最核心的思想應該是如下兩點:
  • pattern-action 結(jié)構 借由強大的正則表達式來匹配pattern,然后執(zhí)行pattern對應的操作
  • Record/Field 處理模型  所有的輸入數(shù)據(jù)都根據(jù)制定的record separator 分割成 record, 然后沒一個record再根據(jù)field separator 分割為fields. POSIX 定義的 field separator可以為正則表達式,而gawk可以允許record separator同時為正則表達式
引發(fā)我花點時間來仔細研究awk的起因是這樣的,我們的程序在做profiling的時候,發(fā)現(xiàn)原來用shell寫的腳本分析一次話費的時間太長。初看了下那個腳本,大概的邏輯是要掃名所有的log文件,按照時間戳將關注的時間所耗費的時間提取出來,計算平均值,波動等最終畫出曲線圖。

整體的腳本有幾個部分(python+bash),處理一次40MB的log文件需要耗費40分鐘~1個小時,這顯然超出了預期;中間一個處理很長的部分是grep某個時間段的信息然后按照報表格式寫入到中間文件中。在想能否優(yōu)化這一節(jié)的時候,忽然就想起了模式匹配來(學習Haskell的最深印象),于是大致翻了一下awk,發(fā)現(xiàn)很容易通過模式匹配使得按行處理,同時記錄中間的信息,而一個時間段恰好和awk的record概念吻合。

花了2個小時研讀了下awk的函數(shù)語法,自定義自己的時間截取函數(shù)(gawk的strftime很有用,尤其我們發(fā)現(xiàn)記錄有跳躍要自動補全中間的數(shù)據(jù)記錄時),通過三個pattern截取需要的信息,30分鐘寫出來awk的代碼來。

所幸的是,其它的shell腳本都不需要任何改動,重新跑一次,3s就處理完了原來40MB的文件,看來這點時間投入還是相當值得的。

有興趣的可參考:
     http://www.gnu.org/manual/gawk/gawk.html

PS:awk的另一作者Winberger 供職于google。
 

posted on 2011-01-02 20:32 skyscribe 閱讀(939) 評論(0)  編輯 收藏 引用 所屬分類: Linux 、Misc

<2025年11月>
2627282930311
2345678
9101112131415
16171819202122
23242526272829
30123456

導航

統(tǒng)計

常用鏈接

留言簿(3)

隨筆分類

隨筆檔案

搜索

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            一区二区三区毛片| 久久精品夜色噜噜亚洲aⅴ| 亚洲自拍偷拍福利| 亚洲免费视频在线观看| 午夜欧美不卡精品aaaaa| 欧美亚洲视频| 欧美不卡在线视频| 亚洲精品影视| 性欧美暴力猛交另类hd| 久久久www成人免费无遮挡大片 | 亚洲综合日韩在线| 午夜精彩国产免费不卡不顿大片| 欧美中文字幕在线播放| 欧美www在线| 亚洲一区二区欧美日韩| 猛男gaygay欧美视频| 久久精品国产免费观看| 好吊色欧美一区二区三区视频| 亚洲精品九九| 久久精品亚洲精品国产欧美kt∨| 欧美高潮视频| 午夜久久久久久| 欧美日韩免费视频| 狠狠久久综合婷婷不卡| 亚洲男人av电影| 亚洲第一区在线| 在线一区二区三区做爰视频网站| 久久国产99| 欧美性做爰毛片| 亚洲激情在线激情| 久久精品国产久精国产爱| 亚洲人成网站777色婷婷| 亚洲欧美日本伦理| 国产精品久久二区| 一本大道久久a久久精二百| 久久久久久自在自线| 一区二区欧美视频| 欧美成人一区二区三区片免费| 国产一区二区日韩精品| 亚洲欧美日韩一区二区| 亚洲久久视频| 欧美激情aⅴ一区二区三区| 精品51国产黑色丝袜高跟鞋| 欧美专区亚洲专区| 亚洲线精品一区二区三区八戒| 欧美成人免费全部| 亚洲国产精品v| 免费美女久久99| 久久免费少妇高潮久久精品99| 国产一区二区三区电影在线观看| 性欧美18~19sex高清播放| 亚洲视频在线一区观看| 欧美激情小视频| 夜夜精品视频一区二区| 日韩亚洲国产欧美| 国产精品福利网| 亚洲欧美中文另类| 午夜免费在线观看精品视频| 国产亚洲一区二区精品| 久久精品人人爽| 久久久国产精品一区二区中文 | 亚洲欧洲日本一区二区三区| 欧美福利一区| 欧美极品在线播放| 正在播放亚洲| 亚洲午夜精品久久| 国产欧美日韩精品在线| 久久精品综合一区| 免费亚洲电影| 一本色道久久综合亚洲精品小说 | 欧美fxxxxxx另类| 在线观看一区| 国产亚洲亚洲| 久久一区欧美| 欧美激情精品久久久六区热门| 亚洲三级免费观看| 亚洲最新中文字幕| 国产农村妇女精品一二区| 久久久xxx| 免费观看久久久4p| 亚洲欧美日本国产专区一区| 香蕉久久精品日日躁夜夜躁| 影音先锋亚洲精品| 亚洲国产一区视频| 国产精品国产三级国产普通话三级| 久久精品在这里| 欧美精品www在线观看| 亚洲欧美中文日韩v在线观看| 欧美一区激情| avtt综合网| 久久激情中文| 中文精品99久久国产香蕉| 午夜日韩激情| 一本一道久久综合狠狠老精东影业| 亚洲视频观看| 亚洲精品日日夜夜| 午夜影院日韩| 国产精品99久久99久久久二8 | 欧美激情aⅴ一区二区三区 | 亚洲日韩欧美视频一区| 国产欧美日韩三级| 亚洲精品国产精品乱码不99| 国产日韩一区欧美| 日韩视频精品| 91久久精品一区| 欧美伊人精品成人久久综合97 | 一区二区在线不卡| 中国日韩欧美久久久久久久久| 亚洲高清视频中文字幕| 亚洲综合另类| 亚洲一区二区在线看| 免费日韩av| 久热re这里精品视频在线6| 国产精品尤物| 亚洲一区二区精品在线| av成人老司机| 欧美激情视频在线播放| 欧美激情视频在线免费观看 欧美视频免费一 | 激情国产一区| 西瓜成人精品人成网站| 亚洲综合成人婷婷小说| 欧美日韩免费观看一区| 亚洲欧洲午夜| 亚洲人成绝费网站色www| 久久国产精品毛片| 久久久国产精品一区| 国产精品丝袜91| 亚洲视频二区| 欧美中文字幕第一页| 亚洲免费影视第一页| 欧美三级免费| 亚洲日韩欧美视频一区| 亚洲精品一二区| 欧美极品一区| 日韩午夜三级在线| 亚洲欧美高清| 国产欧美一区二区色老头| 亚洲欧美日韩国产一区二区| 欧美一区二区三区四区视频| 国产视频一区在线| 久久黄色网页| 欧美不卡视频一区| 亚洲伦理在线| 欧美日一区二区在线观看 | 亚洲精品在线视频观看| 亚洲美女啪啪| 欧美色欧美亚洲另类二区| 中文精品一区二区三区| 性亚洲最疯狂xxxx高清| 国产日韩欧美综合精品| 久久蜜桃精品| 亚洲日韩欧美视频一区| 先锋影音一区二区三区| 黄色成人在线网址| 欧美激情在线有限公司| 亚洲性感美女99在线| 久久综合999| 99在线热播精品免费| 国产精品乱码一区二区三区| 欧美一区二区三区四区高清| 欧美大片在线观看一区| 中文成人激情娱乐网| 国产在线视频欧美一区二区三区| 老巨人导航500精品| 一区二区三区久久| 久久人人超碰| 99精品视频一区二区三区| 国产精品欧美久久久久无广告| 久久国产精品99久久久久久老狼 | 国产精品一区在线观看| 久久婷婷av| aⅴ色国产欧美| 欧美刺激性大交免费视频| 亚洲自拍偷拍麻豆| 亚洲狠狠丁香婷婷综合久久久| 国产精品v日韩精品| 免费成人在线观看视频| 亚洲影院在线观看| 亚洲区欧美区| 免费一级欧美片在线观看| 亚洲欧美一区二区三区久久| 亚洲国产精品黑人久久久| 国产精品裸体一区二区三区| 欧美成人在线影院| 久久精品国产99国产精品澳门| 夜夜爽99久久国产综合精品女不卡| 久久久久久久999| 欧美一二三区精品| 亚洲一区二区三区三| 亚洲精品1区| 狠狠色噜噜狠狠色综合久| 国产精品久久中文| 欧美日本国产精品| 免费在线国产精品| 欧美一区综合| 亚洲一区在线免费观看| 亚洲毛片网站| 亚洲美女精品一区| 野花国产精品入口| 欧美精品一区二区视频|