青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

We do not always find visible happiness in proportion to visible virtue

夢幻白樺林

SHARE

  C++博客 :: 首頁 :: 聯系 :: 聚合  :: 管理
  14 Posts :: 58 Stories :: 62 Comments :: 0 Trackbacks

公告

常用鏈接

留言簿(5)

搜索

  •  

最新隨筆

最新評論

閱讀排行榜

一、概述
 
分表是個目前算是比較炒的比較流行的概念,特別是在大負載的情況下,分表是一個良好分散數據庫壓力的好方法。
 
首先要了解為什么要分表,分表的好處是什么。我們先來大概了解以下一個數據庫執行SQL的過程:
接收到SQL --> 放入SQL執行隊列 --> 使用分析器分解SQL --> 按照分析結果進行數據的提取或者修改 --> 返回處理結果
 
當然,這個流程圖不一定正確,這只是我自己主觀意識上這么我認為。那么這個處理過程當中,最容易出現問題的是什么?就是說,如果前一個SQL沒 有執行完畢的話,后面的SQL是不會執行的,因為為了保證數據的完整性,必須對數據表文件進行鎖定,包括共享鎖和獨享鎖兩種鎖定。共享鎖是在鎖定的期間, 其它線程也可以訪問這個數據文件,但是不允許修改操作,相應的,獨享鎖就是整個文件就是歸一個線程所有,其它線程無法訪問這個數據文件。一般MySQL中 最快的存儲引擎MyISAM,它是基于表鎖定的,就是說如果一鎖定的話,那么整個數據文件外部都無法訪問,必須等前一個操作完成后,才能接收下一個操作, 那么在這個前一個操作沒有執行完成,后一個操作等待在隊列里無法執行的情況叫做阻塞,一般我們通俗意義上叫做“鎖表”。
 
鎖表直接導致的后果是什么?就是大量的SQL無法立即執行,必須等隊列前面的SQL全部執行完畢才能繼續執行。這個無法執行的SQL就會導致沒有結果,或者延遲嚴重,影響用戶體驗。
 
特別是對于一些使用比較頻繁的表,比如SNS系統中的用戶信息表、論壇系統中的帖子表等等,都是訪問量大很大的表,為了保證數據的快速提取返回給用戶,必須使用一些處理方式來解決這個問題,這個就是我今天要聊到的分表技術。
 
 
分表技術顧名思義,就是把若干個存儲相同類型數據的表分成幾個表分表存儲,在提取數據的時候,不同的用戶訪問不同的表,互不沖突,減少鎖表的幾 率。比如,目前保存用戶分表有兩個表,一個是user_1表,還有一個是 user_2 表,兩個表保存了不同的用戶信息,user_1 保存了前10萬的用戶信息,user_2保存了后10萬名用戶的信息,現在如果同時查詢用戶 heiyeluren1 和 heiyeluren2 這個兩個用戶,那么就是分表從不同的表提取出來,減少鎖表的可能。
 
 
我下面要講述的兩種分表方法我自己都沒有實驗過,不保證準確能用,只是提供一個設計思路。下面關于分表的例子我假設是在一個貼吧系統的基礎上來進行處理和構建的。(如果沒有用過貼吧的用戶趕緊Google一下)
 
 
 
二、基于基礎表的分表處理
 
這個基于基礎表的分表處理方式大致的思想就是:一個主要表,保存了所有的基本信息,如果某個項目需要找到它所存儲的表,那么必須從這個基礎表中 查找出對應的表名等項目,好直接訪問這個表。如果覺得這個基礎表速度不夠快,可以完全把整個基礎表保存在緩存或者內存中,方便有效的查詢。
 
我們基于貼吧的情況,構建假設如下的3張表:
 
1. 貼吧版塊表: 保存貼吧中版塊的信息
2. 貼吧主題表:保存貼吧中版塊中的主題信息,用于瀏覽
3. 貼吧回復表:保存主題的原始內容和回復內容
 
 
“貼吧版塊表”包含如下字段:
版塊ID       board_id          int(10)
版塊名稱    board_name      char(50)
子表ID       table_id            smallint(5)
產生時間    created             datetime
 
“貼吧主題表”包含如下字段:
主題ID          topic_id        int(10)
主題名稱        topic_name     char(255)
版塊ID          board_id          int(10)
創建時間       created           datetime
 
“貼吧回復表”的字段如下:
回復ID        reply_id           int(10)
回復內容      reply_text        text
主題ID        topic_id           int(10)
版塊ID        board_id         int(10)
創建時間      created            datetime
 
那么上面保存了我們整個貼吧中的表結構信息,三個表對應的關系是:
 
版塊 --> 多個主題
主題 --> 多個回復
 
那么就是說,表文件大小的關系是:
版塊表文件 < 主題表文件 < 回復表文件
 
所以基本可以確定需要對主題表和回復表進行分表,已增加我們數據檢索查詢更改時候的速度和性能。
 
看了上面的表結構,會明顯發現,在“版塊表”中保存了一個"table_id"字段,這個字段就是用于保存一個版塊對應的主題和回復都是分表保存在什么表里的。
 
比如我們有一個叫做“PHP”的貼吧,board_id是1,子表ID也是1,那么這條記錄就是:
 
board_id | board_name | table_id | created
1 | PHP | 1 | 2007-01-19 00:30:12
 
相應的,如果我需要提取“PHP”吧里的所有主題,那么就必須按照表里保存的table_id來組合一個存儲了主題的表名稱,比如我們主題表的前綴是“topic_”,那么組合出來“PHP”吧對應的主題表應該是:“topic_1”,那么我們執行:
 
Select * FROM topic_1 Where board_id = 1 orDER BY topic_id DESC LIMIT 10
 
這樣就能夠獲取這個主題下面回復列表,方便我們進行查看,如果需要查看某個主題下面的回復,我們可以繼續使用版塊表中保存的“table_id”來進行查詢。比如我們回復表的前綴是“reply_”,那么就可以組合出“PHP”吧的ID為1的主題的回復:
 
Select * FROM reply_1 Where topic_id = 1 orDER BY reply_id DESC LIMIT 10
 
這里,我們能夠清晰的看到,其實我們這里使用了基礎表,基礎表就是我們的版塊表。那么相應的,肯定會說:基礎表的數據量大了以后如何保證它的速度和效率?
 
當然,我們就必須使得這個基礎表保持最好的速度和性能,比如,可以采用MySQL的內存表來存儲,或者保存在內存當中,比如Memcache之類的內存緩存等等,可以按照實際情況來進行調整。
 
一般基于基礎表的分表機制在SNS、交友、論壇等Web2.0網站中是個比較不錯的解決方案,在這些網站中,完全可以單獨使用一個表來來保存基本標識和目標表之間的關系。使用表保存對應關系的好處是以后擴展非常方便,只需要增加一個表記錄。
 
 
優勢 】增加刪除節點非常方便,為后期升級維護帶來很大便利
劣勢 】需要增加表或者對某一個表進行操作,還是無法離開數據庫,會產生瓶頸
 
 
 
三、基于 Hash 算法的分表處理
 
我們知道Hash表就是通過某個特殊的Hash算法計算出的一個值,這個值必須是惟一的,并且能夠使用這個計算出來的值查找到需要的值,這個叫做哈希表。
 
我們在分表里的hash算法跟這個思想類似:通過一個原始目標的ID或者名稱通過一定的hash算法計算出數據存儲表的表名,然后訪問相應的表。
 
繼續拿上面的貼吧來說,每個貼吧有版塊名稱和版塊ID,那么這兩項值是固定的,并且是惟一的,那么我們就可以考慮通過對這兩項值中的一項進行一些運算得出一個目標表的名稱。
 
現在假如我們針對我們這個貼吧系統,假設系統最大允許1億條數據,考慮每個表保存100萬條記錄,那么整個系統就不超過100個表就能夠容納。按照這個標準,我們假設在貼吧的版塊ID上進行hash,獲得一個key值,這個值就是我們的表名,然后訪問相應的表。
 
我們構造一個簡單的hash算法:
 
function get_hash($id){
     $str = bin2hex($id);
     $hash = substr($str, 0, 4);
     if (strlen($hash)<4){
         $hash = str_pad($hash, 4, "0");
     }
     return $hash;
}
 
算法大致就是傳入一個版塊ID值,然后函數返回一個4位的字符串,如果字符串長度不夠,使用0進行補全。
 
比如:get_hash(1),輸出的結果是“3100”,輸入:get_hash(23819),得到的結果是:3233,那么我們經過簡單的跟表前綴組合,就能夠訪問這個表了。那么我們需要訪問ID為1的內容時候哦,組合的表將是:topic_3100、reply_3100,那么就可以直接對目標表進行訪問了。
 
當然,使用hash算法后,有部分數據是可能在同一個表的,這一點跟hash表不同,hash表是盡量解決沖突,我們這里不需要,當然同樣需要預測和分析表數據可能保存的表名。
 
 
如果需要存儲的數據更多,同樣的,可以對版塊的名字進行hash操作,比如也是上面的二進制轉換成十六進制,因為漢字比數字和字母要多很多,那么重復幾率更小,但是可能組合成的表就更多了,相應就必須考慮一些其它的問題。
 
歸根結底,使用hash方式的話必須選擇一個好的hash算法,才能生成更多的表,然數據查詢的更迅速。
 
 
優點hash算法直接得出目標表名稱,效率很高 】通過
劣勢 】擴展性比較差,選擇了一個hash算法,定義了多少數據量,以后只能在這個數據量上跑,不能超過過這個數據量,可擴展性稍差
 
 
 
四、其它問題
 
1. 搜索問題
現在我們已經進行分表了,那么就無法直接對表進行搜索,因為你無法對可能系統中已經存在的幾十或者幾百個表進行檢索,所以搜索必須借助第三方的組件來進行,比如Lucene作為站內搜索引擎是個不錯的選擇。
 
2. 表文件問題
我們知道MySQL的MyISAM引擎每個表都會生成三個文件,*.frm、*.MYD、*.MYI 三個文件,分表用來保存表結構、表數據和表索引。Linux下面每個目錄下的文件數量最好不要超過1000個,不然檢索數據將更慢,那么每個表都會生成三 個文件,相應的如果分表超過300個表,那么將檢索非常慢,所以這時候就必須再進行分,比如在進行數據庫的分離。
 
使用基礎表,我們可以新增加一個字段,用來保存這個表保存在什么數據。使用Hash的方式,我們必須截取hash值中第幾位來作為數據庫的名字。這樣,完好的解決這個問題。
 
 
五、總結
 
在大負載應用當中,數據庫一直是個很重要的瓶頸,必須要突破,本文講解了兩種分表的方式,希望對很多人能夠有啟發的作用。當然,本文代碼和設想沒有經過任何代碼測試,所以無法保證設計的完全準確實用,具體還是需要讀者在使用過程當中認真分析實施。
 

posted on 2007-09-18 09:51 colys 閱讀(590) 評論(0)  編輯 收藏 引用 所屬分類: C#.Net 、oracleSqlServer

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品视频精品| 亚洲欧美文学| 久久天天综合| 欧美成人午夜剧场免费观看| 久久亚洲色图| 欧美成人官网二区| 欧美激情成人在线视频| 亚洲精品国产拍免费91在线| 欧美电影在线免费观看网站| 亚洲欧洲日本专区| 亚洲欧美国产va在线影院| 欧美在线一二三区| 欧美a级一区| 国产精品美腿一区在线看| 伊人成人在线| 亚洲一区二区精品| 久久免费视频这里只有精品| 亚洲高清电影| 欧美亚洲自偷自偷| 欧美精品在线视频观看| 国产伦精品一区二区三区视频黑人 | 国产色产综合产在线视频| 在线国产精品播放| 亚洲欧美日韩在线观看a三区| 久久最新视频| 亚洲自拍啪啪| 欧美新色视频| 日韩亚洲欧美高清| 久久人人爽人人爽| 亚洲午夜精品久久| 欧美成人在线影院| 一区久久精品| 久久免费视频在线观看| 亚洲免费在线看| 欧美日本视频在线| 亚洲激情一区二区三区| 久久久久久久久蜜桃| 中日韩在线视频| 欧美精品导航| 亚洲激精日韩激精欧美精品| 久久久久99| 午夜精品亚洲| 国产精品爽爽爽| 亚洲精品视频免费| 久久婷婷国产综合尤物精品 | 亚洲精品在线观看视频| 欧美亚洲一级| 国产精品久久一区主播| 亚洲精选在线观看| 欧美国产日韩在线| 久久久蜜臀国产一区二区| 国产日韩欧美高清| 羞羞视频在线观看欧美| 亚洲一区二区三区影院| 欧美日韩极品在线观看一区| 亚洲精品视频在线播放| 欧美国产视频日韩| 久久亚洲国产精品日日av夜夜| 国产欧美日韩精品专区| 性做久久久久久免费观看欧美| 亚洲午夜激情免费视频| 国产精品福利av| 午夜日韩福利| 性欧美暴力猛交另类hd| 国产主播精品在线| 免费永久网站黄欧美| 欧美不卡在线| 国产精品99久久久久久有的能看| aa日韩免费精品视频一| 国产精品黄视频| 久久久亚洲精品一区二区三区| 久久蜜臀精品av| 亚洲日本va午夜在线电影| 亚洲黄色小视频| 欧美日韩一区二区在线观看视频| 亚洲一区黄色| 久久久91精品国产一区二区三区| 亚洲精品国产品国语在线app| 亚洲日本欧美天堂| 国产精品揄拍500视频| 久久女同精品一区二区| 免费在线日韩av| 亚洲性线免费观看视频成熟| 午夜精品免费| 亚洲精品护士| 亚洲宅男天堂在线观看无病毒| 红桃视频一区| 一个人看的www久久| 国产一区再线| 亚洲精品欧美一区二区三区| 欧美视频久久| 农村妇女精品| 国产精品区二区三区日本| 免费观看国产成人| 国产精品久久久久久模特| 免费久久精品视频| 欧美午夜精品久久久久久孕妇| 久久九九有精品国产23| 欧美日韩国产123| 乱人伦精品视频在线观看| 欧美日韩一区三区| 欧美激情视频在线免费观看 欧美视频免费一| 欧美日韩一区二区三区四区五区| 美女脱光内衣内裤视频久久影院 | 久久夜色精品国产亚洲aⅴ | 亚洲激情网址| 国产精品最新自拍| 亚洲日本欧美天堂| 尤妮丝一区二区裸体视频| 中文在线不卡| 宅男噜噜噜66一区二区| 老司机一区二区三区| 欧美一区二区女人| 国产精品久久久久久久久久妞妞| 亚洲国产一区视频| 亚洲第一在线综合网站| 亚洲欧美综合精品久久成人| 在线综合+亚洲+欧美中文字幕| 久热爱精品视频线路一| 久久久噜噜噜久久人人看| 国产精品一区二区视频| 亚洲一区二区三区精品在线| 中日韩午夜理伦电影免费| 欧美精品三级日韩久久| 亚洲国产欧美一区二区三区久久| 国产一级久久| 久久精品国产999大香线蕉| 久久精品一区中文字幕| 国产一区91| 久久久久久久综合狠狠综合| 久久午夜精品一区二区| 在线看片日韩| 欧美freesex8一10精品| 亚洲黄色成人久久久| 99re热精品| 欧美色中文字幕| 亚洲一线二线三线久久久| 久久精品国产99精品国产亚洲性色 | 99国产精品国产精品毛片| 亚洲精品在线免费| 欧美极品在线播放| 日韩视频永久免费| 亚洲欧美日韩天堂| 国产欧美婷婷中文| 久久久精品一区二区三区| 免费观看30秒视频久久| 最新中文字幕亚洲| 欧美母乳在线| 亚洲一区二区三区在线观看视频| 欧美综合77777色婷婷| 一区一区视频| 欧美精品一区二区三区蜜桃| 夜夜精品视频一区二区| 久久精品道一区二区三区| 在线免费观看日韩欧美| 欧美日韩精品欧美日韩精品一| 亚洲午夜羞羞片| 久久综合激情| 一区二区三区视频在线看| 国产亚洲欧美日韩精品| 免费观看成人网| 亚洲婷婷国产精品电影人久久| 久久久91精品国产一区二区三区| 亚洲第一成人在线| 欧美日韩1区| 久久精品中文字幕一区二区三区| 久久一区二区精品| 欧美一区三区二区在线观看| 欧美日韩国产探花| 亚洲一区二区三区精品视频 | 亚洲精品影视在线观看| 欧美视频在线观看| 久久国产精品久久久久久久久久 | 99国产精品视频免费观看| 久久岛国电影| 99天天综合性| 国产香蕉97碰碰久久人人| 欧美不卡一区| 久久精品日韩一区二区三区| 亚洲欧洲一区二区天堂久久| 欧美一区视频在线| 一本色道久久综合亚洲精品按摩| 国产一区深夜福利| 国产精品久久久久久一区二区三区 | 久久久www成人免费精品| 亚洲精品中文字| 狠狠色伊人亚洲综合成人| 欧美色一级片| 欧美激情亚洲国产| 久久精品国产久精国产爱| 在线视频日本亚洲性| 亚洲国产欧美在线| 欧美阿v一级看视频| 久久久久久一区| 久久精彩免费视频| 午夜精品久久久久久久男人的天堂| 亚洲另类视频| 日韩视频国产视频| 一区二区三区视频在线看| 99re66热这里只有精品3直播|