IpSite站點的抽象類
一 該類的功能
NamedSite中的類經過dns請求之后，就會將站點名轉換為ip，然后將url transfer到Ipsite中，由Ipsite具體完成爬蟲工作。
二 類的具體成員參數
time_t lastAccess; //該IP最后獲取的時間
bool isInFifo; //當該對象完成了一次fetch之后，將其加入到oksites中，并將其置為true，或者將一個url加入進fifo中
url *getUrl (); //獲取隊列中的 url對象
IPSite ();
~IPSite ();
Fifo<url> tab; //隊列中進行爬取的url列表
int fetch (); //具體執行爬取
三 具體函數實現
(1) 構造函數IPSite() 函數的具體實現為 lastAccess = 0 ; isInFifo = false ;
(2)IPSite::putUrl (url *u)
將url放入IPSite的fifo隊列中，然后將isInFifo設置為true。如果lastAccess+waitDuration <= now
以及當期存在空閑的連接，則可以 調用fetch以進行爬取網頁。
否則將該IpSite加入進okSites中。
（3）inline url *IPSite::getUrl () 從fifo中獲取一個url
(4) fetch() 函數，用以爬取網頁
Connexion *conn = global::freeConns->get(); //首先獲取一個空閑的連接
url *u = getUrl(); //獲取一個url
char res = getFds(conn, &(u->addr), u->getPort()); //然后根據url建立一個連接
if (res != emptyC) { //下面則為一個具體發送http報文請求的過程
lastAccess = global::now;
conn->timeout = timeoutPage;
conn->request.addString("GET ");
if (global::proxyAddr != NULL) {
char *tmp = u->getUrl();
conn->request.addString(tmp);
} else {
conn->request.addString(u->getFile());
}
conn->request.addString(" HTTP/1.0\r\nHost: ");
conn->request.addString(u->getHost());
#ifdef COOKIES
if (u->cookie != NULL) {
conn->request.addString("\r\nCookie: ");
conn->request.addString(u->cookie);
}
#endif // COOKIES
conn->request.addString(global::headers);
conn->parser = new html (u, conn); //建立頁面解析類
conn->pos = 0; //獲取的數據中的下標位置 ，pos
conn->err = success;
conn->state = res;
if (tab.isEmpty()) {
isInFifo = false;
} else {
global::okSites->put(this);
}
return 0;
}
下面附帶上一次http請求的頭部的格式
GET /index.html HTTP/1.1
Accept:text/html
User-Agent:larbin
Host: ioa.rising.com.cn
From：jiangzy@rising.com.cn
四 總結：
該類IpSite主要用來向http服務器發送連接請求，并構建出對應的文件解析類html，存儲在conn中。