本打算做一個(gè)網(wǎng)絡(luò)爬蟲(crawler)的,但水平有限只做了基本的一些功能. 思路: 肯定是要能先通過(guò)url連接到http服務(wù)器了,然后發(fā)送一個(gè)"GET url \n"的請(qǐng)求才能下載網(wǎng)頁(yè). 之后就是分析網(wǎng)頁(yè),比如辨認(rèn)超鏈接和搜索關(guān)鍵詞.
就是GET 這個(gè)東西搞不懂, 有的網(wǎng)頁(yè)需要給完整的url, 有的只需要相對(duì)路徑才正確. 怎么才能自動(dòng)知道需要哪個(gè)啊?
source:
http://m.shnenglu.com/Files/tompson/getwebpage.rar(寫的很爛, 供學(xué)習(xí)網(wǎng)絡(luò)編程的同學(xué)參考)