larbin源碼分析(四)hashTable類對象的實現
一 hashTable類對象
作用：爬蟲將爬取的url存儲在該類對象中，存儲方式是，url對象的hashcode，映射到對應的表項中。
其中每一個url，映射成對應table中的一個bit，其中表空間大小為 64000000（單位為bit）,大小的定義存儲在types.h頭文件中。
爬去到的url需要在hashTable中進行一次查找，若是不存在，則進行進一步遍歷。已經存在，則不需要遍歷。
二 成員函數
HashTable(bool created ) 構造函數
~HashTable() 析構函數
save() ; 將hashTable存儲在文件中。
test(url * U) ;判斷對應的url是否在hashTable 中
set(url * u) ; 將hashTable對應的URL ，設置稱當前的。
testset(url* u) 如果已經添加返回true 。若是之前已經存在返回false
三 實現
(1) HashTable(bool created)
當created為true的時候，表示不需要從文件中讀取，直接進行初始化，將table區域全部初始化為0即可。
若created為false的時候，表示需要從文件hashtable.bak中讀取存儲的數據，將其存放進hashtable類中的table緩沖區中。
(2) save() 函數實現
rename("hashtable.bak", "hashtable.old"); //將hashtable.bak文件存儲在臨時文件hashtable.old中
int fds = creat("hashtable.bak", 00600); //新創建hashtable.bak文件
if (fds >= 0) {
ecrireBuff(fds, table, hashSize/8); //將hashtable寫入文件
close(fds); //關閉操作
}
unlink("hashtable.old"); //對hashtable.old進行解鏈操作
（3) bool test(url * U) //判斷url是否在hashtable中
{
int code = U->hashcode() ; //調用url的hashcode函數。
int pos = code / 8 ; //每一個url在hashtable中即為一個url
int index = 1 << code % 8 ;
return table[pos] & index
}
(4) hashTable::set (url *U) //將對應的一個URL插入進hashtable中
{
int code = U->hashcode() ; //調用url的hashcode函數。
int pos = code / 8 ; //每一個url在hashtable中即為一個url
int index = 1 << code % 8 ;
table[pos] |= index ;
}
(5) bool hashTable::testSet (url *U) { //若已經存在此url則返回false，不存在則完成插入，然后返回true
int code = U->hashcode() ; //調用url的hashcode函數。
int pos = code / 8 ; //每一個url在hashtable中即為一個url
unsigned int index = 1 << code % 8 ;
int res = table[pos] & index ;
table[pos] |= index ;
return !res ;
}
四 總結
hashTable 用來存儲爬去下來的url，若是已經存在則不進行插入。
每一個url使用一個bit來進行存儲。