網絡爬蟲也稱蜘蛛程序（Spider），是一個自動提取網頁的程序， 在搜索引擎中占據重要位置。 網絡爬蟲對搜索引擎的查全、查準很有影響，對于爬蟲來說就是盡可能多和快地給索引部分輸送網頁。 網絡爬蟲的好壞直接影響搜索結果頁中的死鏈接的個數。 搜索引擎中網絡爬蟲的策略包括深度優先策略、廣度優先策略不重復抓取策略、 網頁抓取優先策略網頁重訪策略及網頁抓取提速策略等，都是高性能爬蟲的設計目標。

1 網絡爬蟲

1.1 搜索引擎網絡爬蟲介紹

網絡爬蟲是搜索引擎的重要模塊[1-2],它自動從互聯網中下載網頁，從種子站點開始下載網頁，同時從中讀取其他的鏈，然后從這些鏈接地址尋找下一個網頁，如此循環，并將爬取的網頁加入到網頁數據庫中。 網絡爬蟲進入超級文本時利用 HTML 語言的標記結構來搜索信息及獲取指向下一個超級文本的 URL地址，可以不依賴用戶干預完成網絡的自動爬取搜索。 當然在搜索時往往要采用一定的搜索策略。

1.2 網絡爬蟲運行過程

在網絡爬蟲爬行開始的時候， 需要給爬蟲輸送一個 URL 列表作為爬蟲的開始位置， 爬蟲從這些URL 開始爬行， 不斷地發現新的 URL, 并根據策略爬行這些新發現的 URL,如此反復。 一般的爬蟲都會自己建立 DNS 緩沖，這樣就加快了 URL 解析成IP 地址的速度。

2 爬蟲搜索策略

2.1 深度優先策略

深度優先策略是盡量往最遠的地方走， 直到不能再走為止。 那么會發現爬蟲爬了很多重復的結點，要控制爬蟲爬行的路徑，以避免重復結點就得要有一個較好的算法。 當然在爬行的過程中爬蟲會做一些計算然后做出判斷，如"是否要向深層爬行？ ""這個鏈接是否已經爬過？ "最后還要記錄每次爬行的分支結點，為下次爬行做準備。 為方便描述深度優先策略，給出如圖 2 的網頁連接模型。

假設搜索引擎爬蟲從"中國煙草資訊網"開始，根據深度優先策略，所爬行的路徑為：

1）中國煙草資訊網→中國煙草學會網→中國煙草培訓網2）中國煙草資訊網→中國煙草學會網→中國煙草科教網3）中國煙草資訊網→中國煙草→中國煙草標準化→云南煙葉信息網4）中國煙草資訊網→中國煙草→中國煙草標準化→中國電子商務網5）中國煙草資訊網→東方煙草報→新煙草6）中國煙草資訊網→東方煙草報→煙草在線→中國電子商務網2.2 廣度優先策略。

由廣度優先搜索策略[4]也稱為"層次優先搜索策略",它是一種層次型距離不斷增大的遍歷方法，在抓取過程中，完成當前層的搜索后才進入下一層進行搜索。 很多研究將廣度優先搜索策略應用于聚焦爬蟲中。 其基本思想是認為與初始 URL 距離近的網頁具有主題相關性的概率大。 對于圖 2 的煙草網頁連接模型，采用廣度優先的策略爬取順序為：中國煙草資訊網→中國煙草學會網→中國煙草→東方煙草報→中國煙草培訓網→中國煙草科教網→中國煙草標準化→新煙草→煙草在線→云南煙葉信息網→中國電子商務網。

在抓取策略上，之所以廣泛選擇廣度優先爬蟲策略，主要有三個原因：

1）重要的網頁往往離種子比較近。 例如我們打開新聞網站，越往后深入沖浪，網站的重要性越來越低。

2）萬維網的實際深度最多達 17 層，廣度優先策略總會以最快的速度找到最短路徑到達某個網頁。

3）廣度優先也更適合爬蟲的分布式處理，多個爬蟲合作。

2.3 偏好煙草爬蟲的最佳優先搜索策略

最佳優先策略就是盡可能地先抓取重要性的網頁， 但是如何確定一個網頁的重要性，如何量化這種重要性呢，這將是研究的重點。 下面以煙草行業為例說明偏好煙草爬蟲的最佳優先搜索策略。

在 URL 隊列中選擇需要抓取的 URL 時， 按照重要的 URL先從隊列中挑選出來進行抓取，不一定要按照"先進先出"的方式進行，這種策略稱為"偏好選擇". 而判斷網頁的重要性因素有很多，如鏈接的歡迎度、鏈接的重要度、平均鏈接深度、網站質量等等因素。

鏈接的歡迎度主要是由反向鏈接的數量和質量決定的，數目是指，一個網頁如果有越多的鏈接指向它，那么表示其他網頁對其的認可度越高，質量是指，這個網頁如果有越多重要的網頁指向，那么表示該網頁重要性也很高，我們定義為：IB（p）。

鏈接的重要度僅僅考察 URL 字符本身，如".tobacco."和"in-dex"的 URL 重要性高于".travel."和"life",我們定義為 IL（p）。平均鏈接深度，是根據廣度優先的原則計算出全站的平均鏈接深度，距離種子站點越近的重要性越高，反之則越低，記為 ID（p）。定義網頁的重要性為 I（p），那么網頁重要性公式可有如下公式：I（p）=xIB（p）+yIL（p）+zID（p）其中，x、y 參數用來調整 IB（p）及 IL（p）所占比例的大小，z是由寬度優先遍歷規則決定。 如此每次選出的 URL 就是具有高重要性的網頁。 例如，在圖 2 中重要性為：中國煙草標準化>煙草在線>中國煙草科教網>中國煙草培訓網>新煙草，那么可有遍歷過程為：中國煙草資訊網→中國煙草學會網→中國煙草→東方煙草報→中國煙草標準化→煙草在線→中國煙草科教網→中國煙草培訓網→新煙草→云南煙葉信息網→中國電子商務網。

2.4 非完全 PageRank 搜索策略

PageRank 是一種鏈接分析算法，可衡量網頁的重要性。 但其是在所有網頁都下載完成后計算重要性的， 而爬蟲在爬行的過程中只能看到部分頁面， 要利用 PageRank 算法計算有如下策略思路：將已下載的網頁，加上待抓取的 URL 隊列中的 URL一起，進行 PageRank 算法，計算完成后，將待抓取的 URL 隊列內的網頁按照 PageRank 由高到低排序， 形成新的 URL 序列，爬蟲按照此序列依次抓取。

那么對于圖 2,以及網頁重要性排序：中國煙草>東方煙草報>中國煙草學會網、 中國煙草標準化>煙草在線>中國煙草科教網>中國煙草培訓網>新煙草，就有爬蟲遍歷的過程為：中國煙草資訊網→中國煙草→中國煙草標準化→東方煙草報→煙草在線→新煙草→中國煙草學會網→中國煙草科教網→中國煙草培訓網→中國電子商務網→云南煙葉信息網。

2.5 煙草行業網頁重訪策略

針對煙草行業變化的模型， 制定以下以煙草為主題的爬行策略：

1） 首先選取一個或多個煙草行業的網站作為種子網站，如之前介紹的網頁：中國煙草資訊網、中國煙草、中國煙草標準化、東方煙草報、煙草在線、新煙草、中國煙草學會網、中國煙草科教網、中國煙草培訓網、中國電子商務網、云南煙葉信息網等。

2）然后對抓取的頁面 URL 進行分類，如針對煙草行業網站的特點，將 URL 分為一級索引頁，即首頁；二級索引頁（列表頁如煙草政務信息，內容頁如煙草新聞，產品頁如煙草專賣等）。

3）給各級 URL 設定重訪初始值。

4）根據 URL 的重訪初始值對頁面進行重訪，根據重訪的結果對初始值進行調整。 網頁變化頻率與搜索檢查的頻率的關系可用搜索結果中變化的次數除以時刻 0~時刻 t 的變化間隔 T,公式：

其中 r^表示λ^與搜索檢查頻率 f 的比值，λ^表示網頁變化頻率，X 表示網頁變化的總次數，n 表示某時間間隔內搜索檢查的次數。

5）最 后 ,根據以上策略 ,設置爬取隊列 ,定時對隊列中的URL 進行重訪。 如若發現新的 URL 則重新處理，若發現頁面發生變化則進行調整頁面的重訪值，若頁面不存在，則在網頁庫中刪除相應內容。

3 結束語

在爬蟲系統中，待抓取的 URL 隊列是很關鍵的部分，爬蟲按照該隊列 URL 序列依次爬蟲，而爬蟲的不同搜索策略決定了抓取的 URL 優先順序有所不同。 爬蟲的抓取策略有很多，但無論是哪種策略，其基本目標一致，就是優先選擇重要網頁進行抓取。 本文只選擇代表性或效果較好的解決方案。