提起網(wǎng)絡(luò)爬蟲就一定會(huì)聯(lián)想到ip代理，當(dāng)你擁有了足夠的ip資源，網(wǎng)絡(luò)爬蟲才可以更好的運(yùn)行自己的工作。

　　ip代理服務(wù)器軟件簡(jiǎn)單來說就是一個(gè)網(wǎng)絡(luò)信息的中轉(zhuǎn)站，代理客戶的真實(shí)IP進(jìn)行訪問，ip代理有3種形式，普通IP，透明IP和高匿IP的區(qū)分，一分錢不用花所找來的動(dòng)態(tài)ip代理是不具有匿名性質(zhì)的，也不能夠在爬蟲中派上用場(chǎng)，因?yàn)橘|(zhì)量比較低。

　　目前的爬蟲，主要有以下工作方式：

　　傳統(tǒng)爬蟲：從一個(gè)或者很多個(gè)初始網(wǎng)頁(yè)的URL開始，在抓取的過程中，會(huì)不斷的在當(dāng)前頁(yè)面上重新抽取新的URL放入列隊(duì)中，直到滿足設(shè)定的停止條件。

　　聚焦爬蟲：這種的工作流暢就會(huì)相對(duì)復(fù)雜，要對(duì)網(wǎng)頁(yè)進(jìn)行分析，然后計(jì)算過濾與主題沒有關(guān)系的鏈接，保留有用的鏈接并放入等待抓取的URL隊(duì)列。然后，根據(jù)搜索策略在列隊(duì)中選擇要抓取的網(wǎng)頁(yè)URL，并重復(fù)以上的步驟，一直達(dá)到條件時(shí)停止。而且被爬蟲抓取過的網(wǎng)頁(yè)都會(huì)被系統(tǒng)存儲(chǔ)，進(jìn)行分析、過濾，方便以后的查詢。

　　掌握不同的爬蟲方式以及ip修改工具的使用，對(duì)大家抓取數(shù)據(jù)非常有利的。