本打算做一個網絡爬蟲(crawler)的,但水平有限只做了基本的一些功能. 思路: 肯定是要能先通過url連接到http服務器了,然后發(fā)送一個"GET url \n"的請求才能下載網頁. 之后就是分析網頁,比如辨認超鏈接和搜索關鍵詞.
就是GET 這個東西搞不懂, 有的網頁需要給完整的url, 有的只需要相對路徑才正確. 怎么才能自動知道需要哪個啊?
source:
http://m.shnenglu.com/Files/tompson/getwebpage.rar(寫的很爛, 供學習網絡編程的同學參考)