青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

foxriver
Keep It Simple and Stupid.
posts - 12,  comments - 39,  trackbacks - 0

當(dāng)QQ群聊天記錄日積月累,達(dá)到一定數(shù)量級(jí)的時(shí)候,要查找某些單一文字,往往會(huì)花費(fèi)10幾秒甚至幾分鐘才有反應(yīng)。除去磁盤讀取的時(shí)間,是否對(duì)聊天記錄做一個(gè)全局索引也是個(gè)重要的優(yōu)化,這篇文章就是為了優(yōu)化文本查找速度,介紹一個(gè)最簡(jiǎn)單的方法。

試著把QQ每條聊天記錄看成SQL里單一記錄,對(duì)單條記錄做全文索引。這里用的方法是bit位快速匹配。假設(shè)一條聊天記錄是"test", 轉(zhuǎn)換成16進(jìn)制,就是"74 65 73 74", 對(duì)單條記錄,定義196位bit空間(占用24字節(jié)),定義為數(shù)組A, 然后按bit層(注意不是字節(jié))做or操作:  (A = A or N, 把A的第N個(gè)bit設(shè)置為1)

初始狀態(tài):
A = 0;        // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

使用時(shí),給需要查找的字符串建立相同大小的bit索引B,對(duì)查找數(shù)據(jù)"es"做相同處理:

B = 0;
B = B or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
B = B or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x08,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

然后把A和B做and操作,如果結(jié)果為空(完全沒有交集),則可以快速跳過這條記錄,而不用去判斷實(shí)際內(nèi)容中是否包含了查找文本。

if (B & A)
{
  // 兩者索引存在交集,有一定的可能性,處理進(jìn)一步文字查找操作。
}
else
{
  // 兩者不可能有包含關(guān)系,直接跳過本條記錄內(nèi)容,判斷數(shù)據(jù)庫(kù)下一條記錄。
}

原理很簡(jiǎn)單,就是求兩者的交集,但往往簡(jiǎn)單的索引,能帶來意想不到的速度提升。實(shí)際測(cè)試中,只要輸入的查找文本比較短小,大約30%~60%上下浮動(dòng)的數(shù)據(jù)都能直接略過,大大節(jié)省了查找總耗時(shí)。

本人實(shí)現(xiàn)中,中文的查找方法相當(dāng)于兩個(gè)單字節(jié)的英文,為了最大效率利用空間,用算法把中文每個(gè)BYTE都?jí)嚎s在196bit之內(nèi)。

posted on 2011-01-14 01:22 foxriver 閱讀(2249) 評(píng)論(6)  編輯 收藏 引用

FeedBack:
# re: C++ 【原創(chuàng)算法】實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-01-14 09:30 | atyuwen
你這個(gè)不就是bloom filter的山寨版么,而且hash時(shí)并沒有考慮到pattern中的字母順序,結(jié)果退化成了一個(gè)普通的字符集求交。  回復(fù)  更多評(píng)論
  
# re: C++ 實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-01-14 09:42 | foxriver
@atyuwen

啥,已經(jīng)有人實(shí)現(xiàn)過了?有點(diǎn)杯具,去找來bloom filter研究研究。  回復(fù)  更多評(píng)論
  
# re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-01-14 12:03 | waiting4you
和布隆算法還是不太一樣的,有創(chuàng)意~~
只是有個(gè)地方?jīng)]看懂,A = A or 0x74怎么運(yùn)算呢?怎么得到...0x16...的?謝謝  回復(fù)  更多評(píng)論
  
# re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-01-14 14:28 | foxriver
@waiting4you

杯具,測(cè)試數(shù)據(jù)寫錯(cuò)了,是十進(jìn)制的結(jié)果,被我寫成了16進(jìn)制,已經(jīng)修正。感謝。  回復(fù)  更多評(píng)論
  
# re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-01-14 21:50 | qiuxiafei
額 確實(shí)是bloomfilter....
不過還是很贊 異曲同工  回復(fù)  更多評(píng)論
  
# re: C++ 【山寨算法】實(shí)現(xiàn)一個(gè)最簡(jiǎn)單bit位全文查找索引。
2011-02-12 17:57 | 隨便寫寫~~
@waiting4you
嘗試做了下,還不錯(cuò)~~

public void or(byte[] input, byte index) {
int move = index % 8;
int fix = index / 8;
input[fix] |= (byte)(1 << move);
}

public bool and(byte[] input1, byte[] input2) {
for (int i = 0; i < input1.Length; i++) {
int x = input1[i] & input2[i];
if (x > 0)
return true;
}
return false;
}  回復(fù)  更多評(píng)論
  

只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。
網(wǎng)站導(dǎo)航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理



<2011年12月>
27282930123
45678910
11121314151617
18192021222324
25262728293031
1234567

常用鏈接

留言簿(3)

隨筆檔案

文章檔案

相冊(cè)

1

搜索

  •  

最新評(píng)論

閱讀排行榜

評(píng)論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品久久久久久超碰| 久久这里有精品15一区二区三区| 欧美视频1区| 欧美国产视频日韩| 国产精品久久久久久亚洲毛片| 国产偷国产偷精品高清尤物| 亚洲成在线观看| 亚洲欧美国产三级| 亚洲福利视频二区| 亚洲欧美国产精品va在线观看| 欧美~级网站不卡| 亚洲精品你懂的| 一区二区国产日产| 亚洲午夜精品17c| 免费黄网站欧美| 国内精品视频在线观看| 亚洲综合色婷婷| 亚洲高清在线播放| 免费成人网www| 1000精品久久久久久久久| 亚洲国内欧美| 欧美一级久久| 亚洲人成免费| 亚洲一区二区三区久久| 在线看不卡av| 久久av一区二区三区| 99精品视频免费观看| 欧美国产精品劲爆| 在线看成人片| 欧美69wwwcom| 久久综合一区二区| 亚洲高清资源| 牛夜精品久久久久久久99黑人 | 国产精品夜夜夜| 亚洲一区二区三区色| 亚洲激情小视频| 久久精品亚洲乱码伦伦中文| 国产色产综合色产在线视频| 久久精品国产清自在天天线 | 蜜桃伊人久久| 国产精品青草综合久久久久99| 亚洲自拍偷拍视频| 亚洲香蕉在线观看| 国产美女精品在线| 久久精品91| 久久久国产成人精品| 伊人夜夜躁av伊人久久| 亚洲欧美日韩在线播放| 亚洲欧美成人综合| 国内一区二区在线视频观看| 米奇777超碰欧美日韩亚洲| 快播亚洲色图| 日韩视频一区二区三区| 99热精品在线| 国产女主播视频一区二区| 欧美伊人久久| 欧美在线视频免费| 国产精品视频成人| 久久蜜桃精品| 欧美xart系列高清| 亚洲一区欧美一区| 欧美一区中文字幕| 亚洲精品少妇30p| 亚洲视频国产视频| 伊人成人在线视频| 日韩视频在线观看国产| 欧美不卡视频| 欧美一进一出视频| 欧美不卡视频一区发布| 午夜老司机精品| 久久资源av| 亚洲综合精品一区二区| 久久黄色小说| 亚洲一区二区欧美日韩| 久久久久在线观看| 亚洲欧美电影院| 久久久久久欧美| 在线欧美小视频| 亚洲午夜羞羞片| 亚洲福利av| 亚洲综合日本| 午夜免费在线观看精品视频| 欧美一区视频在线| 久久久成人网| 亚洲字幕在线观看| 欧美bbbxxxxx| 亚洲一区二区三区在线| 亚洲永久字幕| 亚洲精品视频在线看| 久久成人av少妇免费| 一本到12不卡视频在线dvd| 久久riav二区三区| 亚洲精品久久久久久久久久久久 | 亚洲国内精品在线| 黑丝一区二区| 亚洲影视综合| 中文久久乱码一区二区| 久久这里只有精品视频首页| 久久国产精品久久国产精品 | 国产伦精品一区二区三区照片91 | 欧美一区二区三区免费大片| 亚洲第一狼人社区| 亚洲毛片在线| 另类av导航| 另类尿喷潮videofree| 国产欧美日韩在线| 亚洲图片在线观看| 亚洲小少妇裸体bbw| 欧美日本一道本在线视频| 亚洲人成亚洲人成在线观看图片| 亚洲国产精品第一区二区| 欧美一区二区三区电影在线观看| 亚洲欧美激情精品一区二区| 欧美日韩高清在线观看| 亚洲精品国产精品乱码不99按摩 | 欧美视频精品在线| 亚洲裸体在线观看| 一区二区三区精品在线| 欧美电影免费观看大全| 亚洲国产精品悠悠久久琪琪| 亚洲国产成人久久综合| 美女主播一区| 欧美激情一区二区| 亚洲精品在线视频| 欧美高清在线精品一区| 亚洲高清不卡在线| 亚洲精品视频在线看| 久久精品一二三| 欧美国产精品中文字幕| 亚洲精品国产系列| 欧美日韩国产精品成人| 亚洲视频一区在线| 久久九九99视频| 亚洲人成精品久久久久| 国产精品久久二区| 久久在线免费观看| 亚洲视频专区在线| 亚洲电影免费在线| 久久国产直播| 亚洲无吗在线| 另类亚洲自拍| 久久天堂精品| 亚洲国产成人久久| 国产精品亚洲美女av网站| 久久人人爽人人爽爽久久| 一区二区三区欧美日韩| 蜜桃av一区二区三区| 午夜在线成人av| 99re热精品| 在线免费观看欧美| 国产在线观看精品一区二区三区| 国产精品v亚洲精品v日韩精品| 欧美www在线| 麻豆成人在线| 久久久国产精品一区| 亚洲免费影院| 一本色道久久加勒比88综合| 亚洲国产mv| 久久久av水蜜桃| 欧美涩涩视频| 欧美a级理论片| 欧美在线一区二区| 一区二区精品在线观看| 欧美国产先锋| 久久一二三国产| 久久爱另类一区二区小说| 亚洲午夜激情免费视频| 亚洲美女诱惑| 亚洲激情在线| 伊人久久大香线| 黄色成人av网| 激情另类综合| 国内精品亚洲| 伊人狠狠色j香婷婷综合| 国产日韩欧美高清| 国产精品系列在线播放| 国产精品久久99| 国产精品免费在线| 国产精品成人国产乱一区| 欧美三级电影网| 欧美小视频在线| 国产精品久久久久免费a∨| 国产精品高潮呻吟久久av黑人| 亚洲精品在线免费| 亚洲日本理论电影| 亚洲精品欧美一区二区三区| 欧美人与性动交a欧美精品| 亚洲久色影视| 亚洲精选在线观看| 亚洲美女中出| 国产精品99久久久久久久久久久久| 国产精品99免视看9| 久久久久国产精品一区| 久久精品亚洲一区| 日韩一级在线| 老司机久久99久久精品播放免费| 亚洲尤物视频网| 亚洲欧美经典视频| 午夜精品久久一牛影视| 久久精品道一区二区三区|