青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

We do not always find visible happiness in proportion to visible virtue

夢幻白樺林

SHARE

  C++博客 :: 首頁 :: 聯系 :: 聚合  :: 管理
  14 Posts :: 58 Stories :: 62 Comments :: 0 Trackbacks

公告

常用鏈接

留言簿(5)

搜索

  •  

最新隨筆

最新評論

閱讀排行榜

一、概述
 
分表是個目前算是比較炒的比較流行的概念,特別是在大負載的情況下,分表是一個良好分散數據庫壓力的好方法。
 
首先要了解為什么要分表,分表的好處是什么。我們先來大概了解以下一個數據庫執行SQL的過程:
接收到SQL --> 放入SQL執行隊列 --> 使用分析器分解SQL --> 按照分析結果進行數據的提取或者修改 --> 返回處理結果
 
當然,這個流程圖不一定正確,這只是我自己主觀意識上這么我認為。那么這個處理過程當中,最容易出現問題的是什么?就是說,如果前一個SQL沒 有執行完畢的話,后面的SQL是不會執行的,因為為了保證數據的完整性,必須對數據表文件進行鎖定,包括共享鎖和獨享鎖兩種鎖定。共享鎖是在鎖定的期間, 其它線程也可以訪問這個數據文件,但是不允許修改操作,相應的,獨享鎖就是整個文件就是歸一個線程所有,其它線程無法訪問這個數據文件。一般MySQL中 最快的存儲引擎MyISAM,它是基于表鎖定的,就是說如果一鎖定的話,那么整個數據文件外部都無法訪問,必須等前一個操作完成后,才能接收下一個操作, 那么在這個前一個操作沒有執行完成,后一個操作等待在隊列里無法執行的情況叫做阻塞,一般我們通俗意義上叫做“鎖表”。
 
鎖表直接導致的后果是什么?就是大量的SQL無法立即執行,必須等隊列前面的SQL全部執行完畢才能繼續執行。這個無法執行的SQL就會導致沒有結果,或者延遲嚴重,影響用戶體驗。
 
特別是對于一些使用比較頻繁的表,比如SNS系統中的用戶信息表、論壇系統中的帖子表等等,都是訪問量大很大的表,為了保證數據的快速提取返回給用戶,必須使用一些處理方式來解決這個問題,這個就是我今天要聊到的分表技術。
 
 
分表技術顧名思義,就是把若干個存儲相同類型數據的表分成幾個表分表存儲,在提取數據的時候,不同的用戶訪問不同的表,互不沖突,減少鎖表的幾 率。比如,目前保存用戶分表有兩個表,一個是user_1表,還有一個是 user_2 表,兩個表保存了不同的用戶信息,user_1 保存了前10萬的用戶信息,user_2保存了后10萬名用戶的信息,現在如果同時查詢用戶 heiyeluren1 和 heiyeluren2 這個兩個用戶,那么就是分表從不同的表提取出來,減少鎖表的可能。
 
 
我下面要講述的兩種分表方法我自己都沒有實驗過,不保證準確能用,只是提供一個設計思路。下面關于分表的例子我假設是在一個貼吧系統的基礎上來進行處理和構建的。(如果沒有用過貼吧的用戶趕緊Google一下)
 
 
 
二、基于基礎表的分表處理
 
這個基于基礎表的分表處理方式大致的思想就是:一個主要表,保存了所有的基本信息,如果某個項目需要找到它所存儲的表,那么必須從這個基礎表中 查找出對應的表名等項目,好直接訪問這個表。如果覺得這個基礎表速度不夠快,可以完全把整個基礎表保存在緩存或者內存中,方便有效的查詢。
 
我們基于貼吧的情況,構建假設如下的3張表:
 
1. 貼吧版塊表: 保存貼吧中版塊的信息
2. 貼吧主題表:保存貼吧中版塊中的主題信息,用于瀏覽
3. 貼吧回復表:保存主題的原始內容和回復內容
 
 
“貼吧版塊表”包含如下字段:
版塊ID       board_id          int(10)
版塊名稱    board_name      char(50)
子表ID       table_id            smallint(5)
產生時間    created             datetime
 
“貼吧主題表”包含如下字段:
主題ID          topic_id        int(10)
主題名稱        topic_name     char(255)
版塊ID          board_id          int(10)
創建時間       created           datetime
 
“貼吧回復表”的字段如下:
回復ID        reply_id           int(10)
回復內容      reply_text        text
主題ID        topic_id           int(10)
版塊ID        board_id         int(10)
創建時間      created            datetime
 
那么上面保存了我們整個貼吧中的表結構信息,三個表對應的關系是:
 
版塊 --> 多個主題
主題 --> 多個回復
 
那么就是說,表文件大小的關系是:
版塊表文件 < 主題表文件 < 回復表文件
 
所以基本可以確定需要對主題表和回復表進行分表,已增加我們數據檢索查詢更改時候的速度和性能。
 
看了上面的表結構,會明顯發現,在“版塊表”中保存了一個"table_id"字段,這個字段就是用于保存一個版塊對應的主題和回復都是分表保存在什么表里的。
 
比如我們有一個叫做“PHP”的貼吧,board_id是1,子表ID也是1,那么這條記錄就是:
 
board_id | board_name | table_id | created
1 | PHP | 1 | 2007-01-19 00:30:12
 
相應的,如果我需要提取“PHP”吧里的所有主題,那么就必須按照表里保存的table_id來組合一個存儲了主題的表名稱,比如我們主題表的前綴是“topic_”,那么組合出來“PHP”吧對應的主題表應該是:“topic_1”,那么我們執行:
 
Select * FROM topic_1 Where board_id = 1 orDER BY topic_id DESC LIMIT 10
 
這樣就能夠獲取這個主題下面回復列表,方便我們進行查看,如果需要查看某個主題下面的回復,我們可以繼續使用版塊表中保存的“table_id”來進行查詢。比如我們回復表的前綴是“reply_”,那么就可以組合出“PHP”吧的ID為1的主題的回復:
 
Select * FROM reply_1 Where topic_id = 1 orDER BY reply_id DESC LIMIT 10
 
這里,我們能夠清晰的看到,其實我們這里使用了基礎表,基礎表就是我們的版塊表。那么相應的,肯定會說:基礎表的數據量大了以后如何保證它的速度和效率?
 
當然,我們就必須使得這個基礎表保持最好的速度和性能,比如,可以采用MySQL的內存表來存儲,或者保存在內存當中,比如Memcache之類的內存緩存等等,可以按照實際情況來進行調整。
 
一般基于基礎表的分表機制在SNS、交友、論壇等Web2.0網站中是個比較不錯的解決方案,在這些網站中,完全可以單獨使用一個表來來保存基本標識和目標表之間的關系。使用表保存對應關系的好處是以后擴展非常方便,只需要增加一個表記錄。
 
 
優勢 】增加刪除節點非常方便,為后期升級維護帶來很大便利
劣勢 】需要增加表或者對某一個表進行操作,還是無法離開數據庫,會產生瓶頸
 
 
 
三、基于 Hash 算法的分表處理
 
我們知道Hash表就是通過某個特殊的Hash算法計算出的一個值,這個值必須是惟一的,并且能夠使用這個計算出來的值查找到需要的值,這個叫做哈希表。
 
我們在分表里的hash算法跟這個思想類似:通過一個原始目標的ID或者名稱通過一定的hash算法計算出數據存儲表的表名,然后訪問相應的表。
 
繼續拿上面的貼吧來說,每個貼吧有版塊名稱和版塊ID,那么這兩項值是固定的,并且是惟一的,那么我們就可以考慮通過對這兩項值中的一項進行一些運算得出一個目標表的名稱。
 
現在假如我們針對我們這個貼吧系統,假設系統最大允許1億條數據,考慮每個表保存100萬條記錄,那么整個系統就不超過100個表就能夠容納。按照這個標準,我們假設在貼吧的版塊ID上進行hash,獲得一個key值,這個值就是我們的表名,然后訪問相應的表。
 
我們構造一個簡單的hash算法:
 
function get_hash($id){
     $str = bin2hex($id);
     $hash = substr($str, 0, 4);
     if (strlen($hash)<4){
         $hash = str_pad($hash, 4, "0");
     }
     return $hash;
}
 
算法大致就是傳入一個版塊ID值,然后函數返回一個4位的字符串,如果字符串長度不夠,使用0進行補全。
 
比如:get_hash(1),輸出的結果是“3100”,輸入:get_hash(23819),得到的結果是:3233,那么我們經過簡單的跟表前綴組合,就能夠訪問這個表了。那么我們需要訪問ID為1的內容時候哦,組合的表將是:topic_3100、reply_3100,那么就可以直接對目標表進行訪問了。
 
當然,使用hash算法后,有部分數據是可能在同一個表的,這一點跟hash表不同,hash表是盡量解決沖突,我們這里不需要,當然同樣需要預測和分析表數據可能保存的表名。
 
 
如果需要存儲的數據更多,同樣的,可以對版塊的名字進行hash操作,比如也是上面的二進制轉換成十六進制,因為漢字比數字和字母要多很多,那么重復幾率更小,但是可能組合成的表就更多了,相應就必須考慮一些其它的問題。
 
歸根結底,使用hash方式的話必須選擇一個好的hash算法,才能生成更多的表,然數據查詢的更迅速。
 
 
優點hash算法直接得出目標表名稱,效率很高 】通過
劣勢 】擴展性比較差,選擇了一個hash算法,定義了多少數據量,以后只能在這個數據量上跑,不能超過過這個數據量,可擴展性稍差
 
 
 
四、其它問題
 
1. 搜索問題
現在我們已經進行分表了,那么就無法直接對表進行搜索,因為你無法對可能系統中已經存在的幾十或者幾百個表進行檢索,所以搜索必須借助第三方的組件來進行,比如Lucene作為站內搜索引擎是個不錯的選擇。
 
2. 表文件問題
我們知道MySQL的MyISAM引擎每個表都會生成三個文件,*.frm、*.MYD、*.MYI 三個文件,分表用來保存表結構、表數據和表索引。Linux下面每個目錄下的文件數量最好不要超過1000個,不然檢索數據將更慢,那么每個表都會生成三 個文件,相應的如果分表超過300個表,那么將檢索非常慢,所以這時候就必須再進行分,比如在進行數據庫的分離。
 
使用基礎表,我們可以新增加一個字段,用來保存這個表保存在什么數據。使用Hash的方式,我們必須截取hash值中第幾位來作為數據庫的名字。這樣,完好的解決這個問題。
 
 
五、總結
 
在大負載應用當中,數據庫一直是個很重要的瓶頸,必須要突破,本文講解了兩種分表的方式,希望對很多人能夠有啟發的作用。當然,本文代碼和設想沒有經過任何代碼測試,所以無法保證設計的完全準確實用,具體還是需要讀者在使用過程當中認真分析實施。
 

posted on 2007-09-18 09:51 colys 閱讀(590) 評論(0)  編輯 收藏 引用 所屬分類: C#.NetoracleSqlServer

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久免费国产精品| 亚洲综合色婷婷| 久久全球大尺度高清视频| 亚洲午夜精品视频| 国产精品一区久久久| 免播放器亚洲一区| 欧美日本精品| 亚洲图片激情小说| 久久福利视频导航| 欧美视频中文字幕| 久久综合狠狠综合久久综青草| 免费毛片一区二区三区久久久| 亚洲一区免费在线观看| 久久久久久婷| 欧美在线观看视频在线| 欧美精品一区二区三区在线看午夜 | 国产欧美日本一区视频| 欧美大片在线看| 国产精品综合久久久| 最近中文字幕日韩精品| 国产美女搞久久| 亚洲精品国产精品乱码不99按摩| 国产午夜精品久久久久久久| 亚洲国产精品传媒在线观看| 亚洲尤物在线视频观看| 日韩视频一区二区在线观看| 欧美影院成人| 欧美激情欧美狂野欧美精品| 久久综合伊人| 国产日韩精品一区| 一本不卡影院| 一区二区免费在线视频| 免费高清在线视频一区·| 久久人人九九| 狠狠色狠色综合曰曰| 亚洲欧美日韩一区二区在线| 在线亚洲欧美视频| 欧美噜噜久久久xxx| 亚洲高清视频在线| 亚洲第一免费播放区| 久久国产福利国产秒拍| 久久国产视频网站| 国产人成一区二区三区影院| 一本大道久久精品懂色aⅴ| 亚洲美女视频在线免费观看| 久久亚洲私人国产精品va媚药 | 欧美日本免费| 狠狠色伊人亚洲综合成人| 亚洲欧美日韩国产另类专区| 亚洲免费视频成人| 国产精品国产三级欧美二区| 一本一本久久| 午夜国产精品影院在线观看| 欧美特黄a级高清免费大片a级| 最新国产の精品合集bt伙计| 日韩一区二区福利| 欧美日韩一二三区| av成人免费在线观看| 亚洲私拍自拍| 欧美午夜精品久久久久久孕妇| 9国产精品视频| 性欧美1819sex性高清| 欧美性片在线观看| 亚洲激情一区二区三区| 一本一道久久综合狠狠老精东影业 | 久久免费高清视频| 免费日韩精品中文字幕视频在线| 亚洲激情女人| 欧美日韩一区综合| 午夜精品久久久久久久白皮肤 | 国产视频观看一区| 久久久国产精品一区| 亚洲电影免费在线| 亚洲一区二区三区四区五区午夜| 国产欧美日韩综合| 久久美女性网| 日韩亚洲欧美高清| 欧美亚洲系列| 精品不卡在线| 欧美日韩成人综合天天影院| 亚洲欧美日韩人成在线播放| 蜜桃伊人久久| 亚洲桃花岛网站| 韩国在线一区| 欧美日产国产成人免费图片| 亚洲欧洲99久久| 欧美电影免费观看网站| 精品999在线观看| 99精品视频免费全部在线| 亚洲欧美日本伦理| 欧美电影免费网站| 欧美一二三视频| 国产日韩欧美自拍| 亚洲欧美在线磁力| 亚洲欧美日韩国产综合| 亚洲高清激情| 欧美成在线观看| 亚洲欧美日韩国产一区二区三区| 欧美大片一区二区| 欧美一区二区私人影院日本 | 亚洲精品美女久久久久| 久久精品成人| 一本综合久久| 在线观看欧美视频| 国产精品亚洲不卡a| 免费视频一区二区三区在线观看| 亚洲一区二区在线| 亚洲日本欧美日韩高观看| 久久久综合激的五月天| 亚洲欧美韩国| 一本久久知道综合久久| 曰韩精品一区二区| 国产欧美日韩在线| 欧美三级网址| 欧美激情精品久久久久久变态| 欧美在线视频全部完| 亚洲在线视频观看| 亚洲麻豆一区| 欧美激情一区二区三区| 久久免费午夜影院| 欧美中文字幕在线观看| 亚洲一区二区三区在线观看视频| 亚洲人成网站色ww在线| 亚洲激情一区二区| 国内精品久久久久影院色 | 在线综合亚洲| 亚洲精品国精品久久99热| 欧美成人免费va影院高清| 久久久久欧美精品| 久久精品国产亚洲一区二区| 亚洲免费人成在线视频观看| aⅴ色国产欧美| 一本色道久久综合狠狠躁篇的优点| 亚洲韩国一区二区三区| 在线免费观看日韩欧美| 小处雏高清一区二区三区 | 亚洲精品乱码久久久久久| …久久精品99久久香蕉国产 | 欧美在线日韩精品| 久久久精品动漫| 久久久91精品国产一区二区三区 | 午夜欧美不卡精品aaaaa| 亚洲香蕉网站| 亚洲尤物精选| 欧美日韩精品欧美日韩精品一| 亚洲欧美在线一区二区| 久久久99精品免费观看不卡| 性欧美激情精品| 国产日产精品一区二区三区四区的观看方式| 免费久久99精品国产自| 国产真实精品久久二三区| 亚洲自拍三区| 久久国产色av| 极品av少妇一区二区| 久久九九久精品国产免费直播| 欧美一区二区视频免费观看| 久久成人在线| 农夫在线精品视频免费观看| 欧美黑人在线播放| 亚洲免费精彩视频| 亚洲午夜久久久| 久久精品女人的天堂av| 免费人成网站在线观看欧美高清| 欧美激情按摩在线| 国产精品一区二区三区观看| 国内成人精品视频| 99国产精品久久久| 亚洲欧美日韩天堂| 久久一区二区视频| 91久久黄色| 亚洲新中文字幕| 久久精品五月婷婷| 欧美日韩一区视频| 一区在线观看视频| 亚洲精品网址在线观看| 欧美一区二区三区四区在线| 欧美激情在线播放| 亚洲欧美精品| 欧美电影免费观看| 国产精品无人区| 亚洲精品国产精品乱码不99按摩 | 欧美在线播放视频| 欧美伦理一区二区| 韩国精品一区二区三区| 亚洲最新在线| 国产原创一区二区| 9久草视频在线视频精品| 久久青草福利网站| 亚洲美女av黄| 久久精品2019中文字幕| 欧美网站在线| 亚洲人精品午夜在线观看| 午夜精品一区二区三区在线播放| 欧美~级网站不卡| 久久在线免费观看| 亚洲一区美女视频在线观看免费| 欧美激情精品久久久久久蜜臀| 小嫩嫩精品导航| 久久久人成影片一区二区三区观看 | 1000部国产精品成人观看|