本打算做一個(gè)網(wǎng)絡(luò)爬蟲(crawler)的,但水平有限只做了基本的一些功能. 思路: 肯定是要能先通過url連接到http服務(wù)器了,然后發(fā)送一個(gè)"GET url \n"的請求才能下載網(wǎng)頁. 之后就是分析網(wǎng)頁,比如辨認(rèn)超鏈接和搜索關(guān)鍵詞.
就是GET 這個(gè)東西搞不懂, 有的網(wǎng)頁需要給完整的url, 有的只需要相對路徑才正確. 怎么才能自動知道需要哪個(gè)啊?
source:
http://m.shnenglu.com/Files/tompson/getwebpage.rar(寫的很爛, 供學(xué)習(xí)網(wǎng)絡(luò)編程的同學(xué)參考)