• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            foxriver
            Keep It Simple and Stupid.
            posts - 12,  comments - 39,  trackbacks - 0

            當(dāng)QQ群聊天記錄日積月累,達(dá)到一定數(shù)量級的時(shí)候,要查找某些單一文字,往往會花費(fèi)10幾秒甚至幾分鐘才有反應(yīng)。除去磁盤讀取的時(shí)間,是否對聊天記錄做一個(gè)全局索引也是個(gè)重要的優(yōu)化,這篇文章就是為了優(yōu)化文本查找速度,介紹一個(gè)最簡單的方法。

            試著把QQ每條聊天記錄看成SQL里單一記錄,對單條記錄做全文索引。這里用的方法是bit位快速匹配。假設(shè)一條聊天記錄是"test", 轉(zhuǎn)換成16進(jìn)制,就是"74 65 73 74", 對單條記錄,定義196位bit空間(占用24字節(jié)),定義為數(shù)組A, 然后按bit層(注意不是字節(jié))做or操作:  (A = A or N, 把A的第N個(gè)bit設(shè)置為1)

            初始狀態(tài):
            A = 0;        // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

            A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
            A = A or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
            A = A or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
            A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

            使用時(shí),給需要查找的字符串建立相同大小的bit索引B,對查找數(shù)據(jù)"es"做相同處理:

            B = 0;
            B = B or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
            B = B or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x08,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

            然后把A和B做and操作,如果結(jié)果為空(完全沒有交集),則可以快速跳過這條記錄,而不用去判斷實(shí)際內(nèi)容中是否包含了查找文本。

            if (B & A)
            {
              // 兩者索引存在交集,有一定的可能性,處理進(jìn)一步文字查找操作。
            }
            else
            {
              // 兩者不可能有包含關(guān)系,直接跳過本條記錄內(nèi)容,判斷數(shù)據(jù)庫下一條記錄。
            }

            原理很簡單,就是求兩者的交集,但往往簡單的索引,能帶來意想不到的速度提升。實(shí)際測試中,只要輸入的查找文本比較短小,大約30%~60%上下浮動(dòng)的數(shù)據(jù)都能直接略過,大大節(jié)省了查找總耗時(shí)。

            本人實(shí)現(xiàn)中,中文的查找方法相當(dāng)于兩個(gè)單字節(jié)的英文,為了最大效率利用空間,用算法把中文每個(gè)BYTE都壓縮在196bit之內(nèi)。

            posted on 2011-01-14 01:22 foxriver 閱讀(2215) 評論(6)  編輯 收藏 引用

            FeedBack:
            # re: C++ 【原創(chuàng)算法】實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-01-14 09:30 | atyuwen
            你這個(gè)不就是bloom filter的山寨版么,而且hash時(shí)并沒有考慮到pattern中的字母順序,結(jié)果退化成了一個(gè)普通的字符集求交。  回復(fù)  更多評論
              
            # re: C++ 實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-01-14 09:42 | foxriver
            @atyuwen

            啥,已經(jīng)有人實(shí)現(xiàn)過了?有點(diǎn)杯具,去找來bloom filter研究研究。  回復(fù)  更多評論
              
            # re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-01-14 12:03 | waiting4you
            和布隆算法還是不太一樣的,有創(chuàng)意~~
            只是有個(gè)地方?jīng)]看懂,A = A or 0x74怎么運(yùn)算呢?怎么得到...0x16...的?謝謝  回復(fù)  更多評論
              
            # re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-01-14 14:28 | foxriver
            @waiting4you

            杯具,測試數(shù)據(jù)寫錯(cuò)了,是十進(jìn)制的結(jié)果,被我寫成了16進(jìn)制,已經(jīng)修正。感謝。  回復(fù)  更多評論
              
            # re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-01-14 21:50 | qiuxiafei
            額 確實(shí)是bloomfilter....
            不過還是很贊 異曲同工  回復(fù)  更多評論
              
            # re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡單bit位全文查找索引。
            2011-02-12 17:57 | 隨便寫寫~~
            @waiting4you
            嘗試做了下,還不錯(cuò)~~

            public void or(byte[] input, byte index) {
            int move = index % 8;
            int fix = index / 8;
            input[fix] |= (byte)(1 << move);
            }

            public bool and(byte[] input1, byte[] input2) {
            for (int i = 0; i < input1.Length; i++) {
            int x = input1[i] & input2[i];
            if (x > 0)
            return true;
            }
            return false;
            }  回復(fù)  更多評論
              

            只有注冊用戶登錄后才能發(fā)表評論。
            網(wǎng)站導(dǎo)航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理



            <2011年2月>
            303112345
            6789101112
            13141516171819
            20212223242526
            272812345
            6789101112

            常用鏈接

            留言簿(3)

            隨筆檔案

            文章檔案

            相冊

            1

            搜索

            •  

            最新評論

            閱讀排行榜

            評論排行榜

            久久久午夜精品福利内容| 久久久久亚洲AV无码专区桃色| 日本精品一区二区久久久| 国内精品伊人久久久久妇| 国产成人精品久久二区二区| av午夜福利一片免费看久久| 性做久久久久久久久| 91久久婷婷国产综合精品青草 | 久久国产色av免费看| 精品久久人人爽天天玩人人妻| 91精品国产综合久久久久久| 午夜人妻久久久久久久久| 久久伊人精品一区二区三区 | 国产精品女同久久久久电影院| 午夜精品久久影院蜜桃| 性欧美丰满熟妇XXXX性久久久 | 色综合久久综合中文综合网| 香蕉99久久国产综合精品宅男自 | 亚洲成av人片不卡无码久久| 欧美成a人片免费看久久| 久久最新免费视频| 久久精品成人免费网站| 国产AV影片久久久久久| 久久精品这里只有精99品| 色青青草原桃花久久综合| 一本一道久久综合狠狠老| 26uuu久久五月天| 久久亚洲AV无码精品色午夜 | 久久久久久亚洲精品成人 | 亚洲精品乱码久久久久久| 久久精品国产亚洲沈樵| 久久青青草视频| 狠狠精品久久久无码中文字幕| 7777久久久国产精品消防器材| 国内精品久久人妻互换| 日韩人妻无码一区二区三区久久99| 日产精品久久久一区二区| 久久综合狠狠综合久久| 色综合久久久久综合99| 久久国产精品成人免费| 久久99精品国产|