• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            那誰的技術(shù)博客

            感興趣領(lǐng)域:高性能服務(wù)器編程,存儲(chǔ),算法,Linux內(nèi)核
            隨筆 - 210, 文章 - 0, 評(píng)論 - 1183, 引用 - 0
            數(shù)據(jù)加載中……

            tokyocabinet1.4.19閱讀筆記(四)hash數(shù)據(jù)庫freepool的組織與管理

            這一節(jié)關(guān)注freepool的組織,freepool顧名思義,就是負(fù)責(zé)存放被刪除,空閑出來的空間,以便于后面回收利用.
            在第一節(jié)中已經(jīng)提到,這一個(gè)部分,在初始化的時(shí)候會(huì)全部讀入采用malloc從堆中分配的內(nèi)存中,所以對(duì)它的大部分操作都是直接在內(nèi)存中進(jìn)行的---除了要同步到數(shù)據(jù)庫文件中時(shí).

            所有的freepool,以數(shù)組形式組織在一起,每個(gè)freepool元素結(jié)構(gòu)體的定義是:
            typedef struct {                         // type of structure for a free block
              uint64_t off;                          // offset of the block
              uint32_t rsiz;                         // size of the block
            } HDBFB;
            可見,每個(gè)freepool關(guān)注的僅有兩個(gè)因素:所保存block在數(shù)據(jù)庫文件中的offset,以及這塊block的尺寸.

            當(dāng)需要插入新的記錄時(shí),需要在當(dāng)前的freepool中進(jìn)行查詢,看有沒有適合的freepool可以回收利用,因此需要根據(jù)尺寸進(jìn)行查詢,所以為了提高查詢速率,freepool數(shù)組中的元素是根據(jù)每個(gè)freepool的尺寸進(jìn)行排序的,這樣根據(jù)尺寸進(jìn)行查找時(shí)就可以采用二分查找提高效率了,但是要注意到可能出現(xiàn)的找到的尺寸不符合要求,過大了(大于所需尺寸的一倍以上),這個(gè)時(shí)候會(huì)將這塊freepool進(jìn)行拆分,一部分給予使用,剩余的回收到freepool中.另外,如果在freepool中查找所需尺寸出現(xiàn)了很多次失敗的情況(一旦失敗表示沒有符合要求的freepool可以回收利用,這時(shí)就需要增加數(shù)據(jù)庫文件大小以加入新的記錄了),就需要對(duì)freepool進(jìn)行一次合并操作,將相鄰的freepool合并起來形成盡可能大的freepool,而判斷是否相鄰的依據(jù)就是根據(jù)在數(shù)據(jù)庫文件中的offset,此時(shí)又會(huì)將所有的freepool根據(jù)offset進(jìn)行一次排序,然后再進(jìn)行前面的合并操作.

            以上就是freepool數(shù)組的大體組織情況,因?yàn)樗4嬖趦?nèi)存里面的,而且會(huì)經(jīng)常有更新,那么就會(huì)出現(xiàn)當(dāng)前的freepool與數(shù)據(jù)庫文件中保存的freepool情況不一致的可能,所以在關(guān)閉/拷貝數(shù)據(jù)庫的時(shí)候還要將內(nèi)存中的freepool信息一次性的同步到數(shù)據(jù)庫文件中,但是我注意到,在數(shù)據(jù)庫運(yùn)行期間是沒有這個(gè)同步操作的,所以,一旦數(shù)據(jù)庫被非法關(guān)閉,那么數(shù)據(jù)庫文件中里面的freepool信息將完全的錯(cuò)亂,我想這也是TC不夠安全的一個(gè)佐證吧.

            下面簡(jiǎn)單的介紹TC hash數(shù)據(jù)庫中與freepool相關(guān)的API:
            1)static bool tchdbsavefbp(TCHDB *hdb)
            將當(dāng)前內(nèi)存中freepool數(shù)組信息同步到數(shù)據(jù)庫文件中,僅當(dāng)關(guān)閉/拷貝數(shù)據(jù)庫時(shí)被調(diào)用.

            2) static bool tchdbloadfbp(TCHDB *hdb)
            加載數(shù)據(jù)庫文件中的freepool信息到內(nèi)存中,與tchdbsavefbp 是兩個(gè)互逆的過程.

            3) static void tcfbpsortbyoff(HDBFB *fbpool, int fbpnum)
            根據(jù)offset對(duì)freepool數(shù)組進(jìn)行排序

            4) static void tcfbpsortbyrsiz(HDBFB *fbpool, int fbpnum)
            根據(jù)size對(duì)freepool數(shù)組進(jìn)行排序

            5) static void tchdbfbpmerge(TCHDB *hdb)
            將地址相鄰的freepool進(jìn)行合并,內(nèi)部實(shí)現(xiàn)中首先會(huì)調(diào)用tcfbpsortbyoff 對(duì)freepool根據(jù)offset進(jìn)行排序,這樣才方便合并操作.

            6) static void tchdbfbpinsert(TCHDB *hdb, uint64_t off, uint32_t rsiz)
            將一塊block插入到合適的freepool中,插入之前和插入之后freepool數(shù)組都是根據(jù)size排序好的.

            7) static bool tchdbfbpsearch(TCHDB *hdb, TCHREC *rec)
            根據(jù)rec所要求的尺寸,查找一塊合適的freepool回收利用,如果找到的freepool過大(大于所要求的一倍),那么就分為兩份,一份負(fù)責(zé)插入rec,一份重新插入到合適的freepool中.

            8) static bool tchdbfbpsplice(TCHDB *hdb, TCHREC *rec, uint32_t nsiz)
            查看緊跟著rec的數(shù)據(jù)庫文件空間是否是空閑的,如果是就合并進(jìn)來,也就是加大rec的尺寸,以滿足nsiz大小的要求.

            9) static bool tchdbwritefb(TCHDB *hdb, uint64_t off, uint32_t rsiz)
            將一塊block置位空閑的(就是寫它的magic number為0xb0)

            總體來看,freepool是TC hash數(shù)據(jù)庫中操作很頻繁的一塊數(shù)據(jù)區(qū),在刪除一條記錄時(shí)需要將這條記錄放到合適的freepool中,而新增記錄時(shí)還需要從當(dāng)前的freepool中查找合適的block,但是由于freepool是保存在內(nèi)存中的,而且又進(jìn)行過排序因此可以使用二分查找算法,所以對(duì)它進(jìn)行的管理操作還是較為高效的.




            posted on 2010-01-22 22:38 那誰 閱讀(6639) 評(píng)論(1)  編輯 收藏 引用 所屬分類: tokyo cabinet

            評(píng)論

            # re: tokyocabinet1.4.19閱讀筆記(四)hash數(shù)據(jù)庫freepool的組織與管理  回復(fù)  更多評(píng)論   

            TC的HDB的碎片整理如果只考慮相鄰空閑塊進(jìn)行merge的話,效果有限。另外,對(duì)機(jī)器和進(jìn)程異常的處理正如你所說,還不夠安全。
            2010-01-24 15:56 | davidripple
            久久亚洲av无码精品浪潮| 久久久久久久人妻无码中文字幕爆| 97精品国产97久久久久久免费| 色综合合久久天天给综看| 伊人久久综合无码成人网| 久久综合久久自在自线精品自| 热re99久久精品国产99热| 精品国产一区二区三区久久蜜臀| 中文字幕精品无码久久久久久3D日动漫 | 久久大香萑太香蕉av| 亚洲精品国产美女久久久| 久久美女人爽女人爽| 香蕉久久影院| 久久综合九色综合精品| 香蕉久久夜色精品国产尤物| 国产精品久久久久AV福利动漫 | 麻豆精品久久精品色综合| 亚洲精品tv久久久久| 精品久久久久久久| 久久无码中文字幕东京热| 久久久久国产一级毛片高清版| 亚洲精品tv久久久久久久久久| 好久久免费视频高清| 狼狼综合久久久久综合网| 一级女性全黄久久生活片免费| 色综合久久久久综合体桃花网| 久久人妻少妇嫩草AV蜜桃| 狠狠色丁香婷婷综合久久来| 国产69精品久久久久久人妻精品| 国产精品永久久久久久久久久| 久久精品国产亚洲av麻豆色欲| 欧美日韩精品久久久免费观看| 久久人妻少妇嫩草AV蜜桃| 久久996热精品xxxx| 国产成人精品久久亚洲| 91麻精品国产91久久久久| 色欲久久久天天天综合网精品| 2021国产精品久久精品| 久久人人爽人人爽人人片AV不| 区久久AAA片69亚洲| 国内精品伊人久久久久777|