• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            馭風(fēng)萬里無垠

            Unix文本處理之利器-awk/gawk

            日常在shell中使用awk基本是家常便飯了,但是詳細(xì)的寫一些小程序還是第一次,總體是下來,還是深深得被這門年齡比自己都要大的工具語言的魅力所折服(since 1977)。作者中最引人注目的當(dāng)屬鼎鼎大名的Brian W. Kernighan (即K的簡稱來源)。目前所用的版本大多是gawk或者nawk.

            作為一門微型且完整的編程語言,awk可以用數(shù)行代碼就完成其他語言需要數(shù)倍的LOC才能完成的工作。其設(shè)計哲學(xué)也是比較特殊的,核心是data-driven的,并且采用了和C類似的語法來組織。它最核心的思想應(yīng)該是如下兩點:
            • pattern-action 結(jié)構(gòu) 借由強大的正則表達(dá)式來匹配pattern,然后執(zhí)行pattern對應(yīng)的操作
            • Record/Field 處理模型  所有的輸入數(shù)據(jù)都根據(jù)制定的record separator 分割成 record, 然后沒一個record再根據(jù)field separator 分割為fields. POSIX 定義的 field separator可以為正則表達(dá)式,而gawk可以允許record separator同時為正則表達(dá)式
            引發(fā)我花點時間來仔細(xì)研究awk的起因是這樣的,我們的程序在做profiling的時候,發(fā)現(xiàn)原來用shell寫的腳本分析一次話費的時間太長。初看了下那個腳本,大概的邏輯是要掃名所有的log文件,按照時間戳將關(guān)注的時間所耗費的時間提取出來,計算平均值,波動等最終畫出曲線圖。

            整體的腳本有幾個部分(python+bash),處理一次40MB的log文件需要耗費40分鐘~1個小時,這顯然超出了預(yù)期;中間一個處理很長的部分是grep某個時間段的信息然后按照報表格式寫入到中間文件中。在想能否優(yōu)化這一節(jié)的時候,忽然就想起了模式匹配來(學(xué)習(xí)Haskell的最深印象),于是大致翻了一下awk,發(fā)現(xiàn)很容易通過模式匹配使得按行處理,同時記錄中間的信息,而一個時間段恰好和awk的record概念吻合。

            花了2個小時研讀了下awk的函數(shù)語法,自定義自己的時間截取函數(shù)(gawk的strftime很有用,尤其我們發(fā)現(xiàn)記錄有跳躍要自動補全中間的數(shù)據(jù)記錄時),通過三個pattern截取需要的信息,30分鐘寫出來awk的代碼來。

            所幸的是,其它的shell腳本都不需要任何改動,重新跑一次,3s就處理完了原來40MB的文件,看來這點時間投入還是相當(dāng)值得的。

            有興趣的可參考:
                 http://www.gnu.org/manual/gawk/gawk.html

            PS:awk的另一作者Winberger 供職于google。
             

            posted on 2011-01-02 20:32 skyscribe 閱讀(923) 評論(0)  編輯 收藏 引用 所屬分類: LinuxMisc

            <2025年8月>
            272829303112
            3456789
            10111213141516
            17181920212223
            24252627282930
            31123456

            導(dǎo)航

            統(tǒng)計

            常用鏈接

            留言簿(3)

            隨筆分類

            隨筆檔案

            搜索

            最新評論

            閱讀排行榜

            評論排行榜

            香蕉久久夜色精品国产2020| 精品熟女少妇a∨免费久久| 国产精品免费看久久久香蕉| 久久久久无码中| 一本久久a久久精品亚洲| 国产成人综合久久综合| 久久婷婷午色综合夜啪| 91精品国产乱码久久久久久| 久久九九久精品国产| 99久久精品日本一区二区免费| 久久综合日本熟妇| 亚洲精品高清久久| 国产精品禁18久久久夂久| 久久久高清免费视频| 久久久受www免费人成| 久久久久国产精品| 无码国产69精品久久久久网站| 久久天天躁狠狠躁夜夜av浪潮| 精品久久久久久国产潘金莲| 2020国产成人久久精品| 久久久久国产亚洲AV麻豆| 国产免费久久精品99久久| 久久精品国产91久久综合麻豆自制 | 久久久久99精品成人片| 久久99精品久久久久久久不卡 | 久久777国产线看观看精品| 久久婷婷色综合一区二区| 久久久久国产亚洲AV麻豆| 久久国产成人午夜aⅴ影院| 青青国产成人久久91网| 久久se精品一区二区| 久久九九青青国产精品| 久久久久久久人妻无码中文字幕爆| 国产成人精品久久| 无遮挡粉嫩小泬久久久久久久| 久久天天躁狠狠躁夜夜网站| 精品国产乱码久久久久久1区2区 | 7777久久亚洲中文字幕| 国产亚洲欧美成人久久片| 99热热久久这里只有精品68| 色综合久久综合网观看|