定義：

網(wǎng)絡爬蟲（Web Spider），又被稱為網(wǎng)頁蜘蛛，是一種按照一定的規(guī)則，自動地抓取網(wǎng)站信息的程序或者腳本。爬蟲其實是通過編寫程序，模擬瀏覽器上網(wǎng)，然后讓其去互聯(lián)網(wǎng)上抓取數(shù)據(jù)的過程。

爬蟲的價值：

抓取互聯(lián)網(wǎng)上的數(shù)據(jù)，為我所用，有了大量的數(shù)據(jù)，就如同有了一個數(shù)據(jù)銀行一樣，下一步就是如何將這些數(shù)據(jù)產(chǎn)品化、商業(yè)化。

爬蟲是否合法

網(wǎng)絡爬蟲在法律中是不被禁止，但是具有違法風險，通常來說爬蟲分為善意的爬蟲和惡意的爬蟲。爬蟲帶來的風險可以體現(xiàn)在如下兩個方面：

• 爬蟲干擾了被訪問網(wǎng)站的正常運營
• 爬蟲抓取了受法律保護的特定類的數(shù)據(jù)或信息

那么我們?nèi)绾卧谑褂镁帉懪老x的過程中避免進入局子的厄運呢？

• 時常優(yōu)化自己的程序，避免干擾被訪問網(wǎng)站的正常運行
• 在使用、傳播爬取到的數(shù)據(jù)時，審查抓取到的內(nèi)容，如果發(fā)現(xiàn)涉及到用戶隱私或者商業(yè)機密等敏感內(nèi)容，需要及時停止爬取或傳播

爬蟲在使用場景中的分類

• 通用爬蟲抓取系統(tǒng)重要組成部分，抓取的是一整張頁面數(shù)據(jù)
• 聚焦爬蟲是建立在通用爬蟲的基礎之上，抓取頁面中特定的局部內(nèi)容
• 增量式爬蟲檢測網(wǎng)站中數(shù)據(jù)更新的情況，只會爬取網(wǎng)站中最新更新出來的數(shù)據(jù)

爬蟲的矛與盾

反爬機制：門戶網(wǎng)站，可以通過制定相應的策略或者技術手段，防止爬蟲程序進行網(wǎng)站數(shù)據(jù)的爬取。反反爬策略：爬蟲程序可以通過制定相關的策略或者技術手段，破解門戶網(wǎng)站中具備的反爬機制，從而可以獲取門戶網(wǎng)站中相關的數(shù)據(jù)。

下面，我們來了解一下網(wǎng)絡爬蟲中一個重要的協(xié)議：robots.txt協(xié)議。robots.txt協(xié)議是一個君子協(xié)議，協(xié)議中規(guī)定了網(wǎng)站中哪些數(shù)據(jù)可以被爬取哪些數(shù)據(jù)不能被爬取。

http協(xié)議和https協(xié)議

http協(xié)議：就是服務器和客戶端進行數(shù)據(jù)交互的一種形式。http協(xié)議中常用的請求頭信息：

• User-Agent：請求載體的身份標識
• Connection：請求完畢后，是斷開連接還是保持連接http協(xié)議中常用的響應頭信息：
• Content-Type：服務器響應回客戶端的數(shù)據(jù)類型https協(xié)議其實就是一種安全的http協(xié)議