最近需要收集資料，在瀏覽器上用另存為的方式實在是很麻煩，而且不利于存儲和檢索。所以自己寫了一個小爬蟲，在網上爬東西，迄今為止，已經爬了近百萬張網頁。
現在正在想辦法著手處理這些數據。

爬蟲的結構：
   爬蟲的原理其實很簡單，就是分析下載的頁面，找出其中的連接，然后再下載這些鏈接，再分析再下載，周而復始。在數據存儲方面，數據庫是首選，便于檢索，而開發(fā)語言，只要支持正則表達式就可以了，數據庫我選擇了mysql，所以，開發(fā)腳本我選擇了php。它支持perl兼容正則表達式，連接mysql很方便，支持http下載，而且windows系統(tǒng)和linux系統(tǒng)都可以部署。

正則表達式:
  正則表達式是處理文字的基本工具，要取出html中的鏈接和圖片，使用的正則表達式如下。

   "#<a[^>]+href=(['\"])(.+)\\1#isU"   處理鏈接
    "#<img[^>]+src=(['\"])(.+)\\1#isU" 處理圖片

其他問題:
  寫爬蟲還需要注意的一個問題是，對于已經下載過的url，不能重復進行下載，而有些網頁的鏈接會形成環(huán)路，所以需要處理這個問題，我的處理方法是計算已經處理的url的MD5 值，并存入數據庫，這樣就可以檢驗是否已經下載過。當然還有更好的算法，有興趣的話，可以在網上找一下。

相關協(xié)議:
  爬蟲也有自己的協(xié)議，有個robots.txt文件定義了那些是網站允許遍歷的，但是由于我的時間有限，沒有實現這個功能。

其他說明:
  php支持類編程,我寫的爬蟲主要的類.
  1.url處理web_site_info，主要用處理url，分析域名等。
  2.數據庫操作mysql_insert.php,處理和數據庫相關的操作。
  3.歷史記錄處理，記錄已經處理的url。
  4.爬蟲類。

存在的問題和不足

  這個爬蟲在小數據量的情況下，運行良好，但是在大數據量的情況下，歷史記錄處理類的效率就不是很高，通過在數據庫結構中，對相關字段進行了索引，速度有了提高，但是需要不斷得讀取數據，可能和php本身的array實現有關系，如果一次加載10萬條歷史記錄，速度非常慢。
  不支持多線程，每次只能處理一個url。
  php運行本身有內存使用量限制，有一次在抓取深度為20的頁面的時候，內存用盡程序被殺。

下面的url是源碼下載。

http://m.shnenglu.com/Files/hdqqq/net_spider.rar

使用的時候，先在mysql中創(chuàng)建net_spider數據庫，然后用db.sql創(chuàng)建相關表。再在config.php中設置mysql的用戶名口令。
最后
php -f spider.php 深度(數值) url
就可以開始工作。如

php -f spider.php 20 http://news.sina.com.cn

現在感覺下來，其實做個爬蟲沒那么復雜，難的是數據的存儲和檢索。我現在的數據庫，最大一個數據表已經15G，正在想辦處理這些數據，mysql進行查詢已經感覺有點力不從心了。這點上還真佩服google。