互聯網最基礎的功能即提供信息。像谷歌、百度這類通用搜索引擎重點在于廣度搜索，搜索到的內容涵蓋范圍過于廣泛、繁雜，用戶難以從如此海量的信息中快速獲取自己所需的確切信息。尤其針對用戶的專業檢索需求時問題更為突出,難以滿足專業人士的檢索需求。因此, 應開發搜索質量更準確、相關性更復雜的搜索引擎，以追求在某一學科或某一行業領域有最佳的檢索效率及效果，垂直搜索引擎的應運而生, 成為搜索引擎發展史上的一座里程碑。因此，垂直搜索引擎以其搜索結果的高效性、準確性和專業性等特點逐漸得到人們的青睞。

1、 研究意義

信息時代的到來與中國經濟的高速發展，導致互聯網中企業信息數據量日趨加大，分散的企業信息使得通用搜索引擎非結構化數據搜索導致的數據準確性問題日漸突出。因此，針對企業領域的信息查找的準確性和專業性，可以對企業搜索服務模式的細分，對海量企業信息科學地整合與管理，為用戶提供精準和具有針對性的企業搜索服務的搜索引擎系統，已成為當今中國企業發展的迫切需要。

2、 企業名錄垂直系統核心技術

2.1 信息采集技術

2.1.1 網絡爬蟲技術

本文所述系統是基于垂直搜索的系統，所需要的海量企業信息分散于互聯網中，因此，需要特定的程序從網絡上搜尋與抓取需要的數據。在互聯網上抓取網絡資源的過程是依靠一個應用程序實現的，這個應用程序叫做網絡爬蟲（Spider），或者叫網絡蜘蛛（Spider），其主要職責即從信息源處抓取所需資源信息。爬蟲程序主要工作原理如下：

分析所需要信息的網頁url地址生成算法，生成初始的url地址；依據初始url地址依次生成有效的url地址，形成地址列表；建立網絡連接，從生成的url地址列表中依次提取url地址，放入任務隊列，調用爬蟲程序依次通過url入口進行網頁抓取任務。爬蟲程序工作原理流程圖如圖1所示?；谛畔祿斓臏蚀_性與完整性考慮，本系統設計的爬蟲程序同時包含有以下幾種功能。

①數據包抓取與分析機制

多數網站為保證網站的穩定性與安全性，采取了隱式傳參的方式，例如使用驗證碼等。因此本系統在調用爬蟲程序抓取某些所需信息時，需要通過調用數據包分析軟件、查看訪問網站所需傳輸的參數內容。本系統調用的是Wireshark網絡數據包分析軟件，其功能是截取網絡數據包，并盡可能詳細的顯示網絡數據包數據，可用于分析訪問網站中的隱式傳參。通過抓取數據包，獲取需要反饋網站的數據信息，之后將隱式信息反饋網站后使系統獲取訪問網站權限，成功訪問網頁，之后通過子程序調用抓取器來進行網頁的抓取。本文所述系統中所使用的抓取器為Wget，支持TCP/IP協議，并可使用HTTP代理。Wget抓取器的使用非常簡單，通過設置簡單的參數，將頁面按照要求完整地從互聯網下載到本地。因此，該機制實現的工作流程圖如圖2所示。

②延時抓取機制

網站基于通常設置一系列防范措施來保護網站安全，例如當某些用戶在一定時間內大量訪問網站時，網站防護程序可能認為這是惡意訪問，從而屏蔽此用戶IP。當系統調用爬蟲程序抓取信息時，不可避免地在短時間內大量訪問目的網站，因此需要進行一定量的延時機制來防止服務器IP被屏蔽。本系統設計的延時抓取機制基本原理為：首先設置一定的信息數量Imax作為啟動延時抓取的條件，同時設置延緩時間Tmax；之后，記錄抓取信息數據量In，即任務列表中已抓取的信息數量，當信息抓取量達到該條件后，即Imax=In時，標記當前最后一次抓取的url地址，爬蟲程序暫時停止，Clock開始計時，同時信息抓取量In歸零；最后，當Clock時長達到預定的延緩時長后，Clock時間歸零，調用爬蟲程序，此時進入任務隊列的url地址為地址列表中順序排在被標記的地址后的下一條url地址，之后取消被標記url地址的標記，信息抓取量In再次從零開始計數，直到達到規定條件后再次開始延時，直至任務列表中所有抓取任務都已完成。其工作流程圖如圖3所示。

2.1.2 信息抽取技術

信息抽取是指從一段文本中抽取指定的一類信息,并將其轉化為結構化的數據存入一個數據庫中供用戶查詢使用的過程。因此如何將采集到的信息進行結構化的抽取是垂直搜索關鍵技術之一。一個html文本中通常包含有多類信息，例如企業名稱、企業類型、注冊號等，如何將這些信息結構化抽取、歸類與整理也是信息抽取待解決問題之一。本系統采用的方法非常簡單：利用已預定義的字符匹配算法———正則表達式（Regular Expression）來掃描html文本，進行信息匹配，提取正確匹配的信息。Html網頁一般某類特定信息的句子帶有特殊的句法。因此依照正則表達式的的基本字符匹配規則，可以確定某類特定信息提取的正則表達式，從而實現自動分類，提取對應信息。

2.2 檢索技術

2.2.1 中文分詞技術

中文分詞技術是基于中文信息的搜索引擎的關鍵技術之一，是處理中文信息的基礎，其準確性影響著查詢結果的準確性。中文信息以字為單位，單個漢字按照一定順序排列組合后合成詞句進行有意義的表達。因此，如何將用戶進行搜索的模糊信息分詞處理后獲得最接近用戶原意的結果，是分詞技術的難點。本系統實現分詞技術采用的是Friso分詞處理器。Friso是使用c語言開發的一個開源的中文分詞器，完全基于模塊化設計和實現，可以很方便的植入到其他程序中，如：MySQL，PHP等。Friso分詞器源碼可直接植入到任何平臺編譯使用，支持UTF-8編碼、自定義的詞匯數據庫以及大小寫等，可對中文與英文的混合詞匯進行分詞處理等，在系統中使用方便快捷。

2.2.2 索引技術

索引技術是垂直搜索技術中關鍵的一環。索引的建立，可以有效提高結構化信息的入庫效率與信息查詢的精準性。目前常用的基于中文分詞索引建立方法有單字分詞，雙字分詞（統計分詞）和詞典分詞。單字分詞即以單個漢字為單位建立索引項，此法索引建立簡單，但查詢時操作繁復，效率不高；雙字分詞法以兩個漢字作為一個詞來建立索引項，索引建立復雜且會存在大量冗余，查詢效率相對單字分詞法而言較高；詞典分詞法則是需要在分詞前建立一個詳細全面的詞庫，在切分中文信息時與詞庫中的數據進行匹配，遇到匹配的詞匯時進行信息切分。經過綜合對比，本系統選擇詞典分詞建立分詞索引，因此需要建立例如“合資”、“股份制”等與企業、行業、商業相關的專業詞語的詞匯數據庫，選擇基于詞庫分詞法的中文分詞技術以提高查詢結果的準確性與相關性。

3、 企業名錄垂直搜索系統的設計

3.1 數據庫模塊

3.1.1 企業信息相關詞詞庫

為提高本系統搜索結果的精準性，本系統建立的自定義的企業信息詞庫。在構建企業相關特征詞庫時，首先需要確定描述企業的術語有哪些，例如描述企業類型的術語按照組織形式的不同被描述為國有、私營、合資、獨資等，按照企業所屬行業又可以分為交通運輸、工業、農業等。因此，在建立詞庫時，首先需要確定初始的企業相關詞，按照字符長度進行排列；之后，確定這些字符的漢語拼音。在建立數據表時，建立的數據項包括字的ID、漢語拼音、詞語長度、詞語漢字等數據項，當Friso分詞器接受到用戶的搜索時，可以依照所輸入的漢語詞匯或者英文輸入法下的漢語拼音進行相對應漢語分詞提示。

3.1.2 企業信息數據庫

本文研究的企業名錄垂直搜索系統，為實現準確的企業信息搜索，建立了詳細的企業信息數據庫，包含了企業名稱、注冊號、法人姓名、法人信息、企業地址、電子郵箱、聯系電話等詳細信息。并且為實現精準的企業垂直搜索，本系統對企業類型、注冊資本、規模大小、所在地區、營業狀況等分別進行較為詳細的分類并建立相關索引，例如根據注冊資本范圍可以建立50萬以下、50~100萬、100~300萬、300~500萬和500萬以上等幾個數據的索引表，當用戶選擇相應的注冊資本范圍進行更快捷的查詢，提高結果的精準性與搜索效率。

3.2 信息采集與處理模塊

系統設計的爬蟲程序由于需要調用Wireshark數據分析包與Wget抓取器，因此該模塊又分為四個模塊：網頁抓取模塊、數據庫存儲模塊、通信模塊與正則表達式處理模塊，如圖4所示。網頁抓取模塊即將包含有所需信息的網頁從網絡下載至本地；數據庫存儲模塊即將切割后的結構化信息存儲至企業信息數據庫中；通信模塊則負責父進程與子進程之間的通信，即爬蟲程序中調用Wireshark子進程與調用Wget抓取網頁子進程以及延時抓取中延時進程之間的通信，使得各盡程各司其職，互相協作，完成指令；正則表達式處理模塊則是利用標準的正則表達式規則對抓取的網頁進行信息的匹配，進行結構化信息的抽取。

3.3 垂直搜索與查詢模塊

系統前臺查詢不僅使用了中文分詞技術，調用Friso分詞器可使用戶在查詢時可對相應的查詢條件進行提示，同時支持聯合檢索。在前臺搜索中，系統不僅設計了基于用戶輸入關鍵字詞的搜索，還對注冊資本范圍、企業類型、企業狀態、行政區劃等條件進行了選擇設置，用戶可以直接選擇所查詢企業的注冊資本范圍、所屬行業等，后臺程序可將前臺界面反饋后的多個查詢條件進行聯合查詢，確保反饋給用戶最需要的企業信息，如圖5所示。搜索結果的展示是一個二級頁面：第一級結果顯示頁是根據用戶的需求顯示出所有符合條件的企業，為用戶提供選擇范圍，如圖6所示；若用戶需要了解自己感興趣企業的詳細信息，可直接點擊鏈接進入第二級結果顯示頁，可顯示該企業包括詳細地址、公司簡介等詳細信息，如圖7所示。

4、 結語

本文描述的基于企業名錄的垂直搜索系統采集的企業信息包括企業工商注冊號，其來源于各地工商信息系統，確保了數據來源的可靠性，不僅可以為用戶提供正規精準的企業信息，還可以有效辨識企業的真偽；而且本系統利用垂直搜索引擎實現了聯合搜索功能，用戶可以根據自己所需輸入企業篩選條件，例如所查找企業的所在地區、公司性質、注冊資本等條件來進行搜索，提高搜索效率；本系統可以依據用戶條件進行相應的企業搜索，可對用戶提供相關行業中企業的信息，有助于企業用戶選擇所需的商業合作伙伴等，形成有效的商業產業鏈，促進企業之間的合作與發展，從而促進商業發展。

參考文獻：
[1] 王文鈞,李巍.垂直搜索引擎的現狀與發展探究[J].情報科學,2010,\\(3\\).
[2] 張博,蔡皖東.面向主題的網絡蜘蛛技術研究與系統實現[J].微電子學與計算機,2009,\\(5\\).
[3] 林海霞,原福永,陳金森.一種改進的主題網絡蜘蛛搜索算法[J].計算機工程與應用,2008,\\(2\\).
[4] 周純.垂直搜索引擎技術進展[J].知識經濟,2011,\\(9\\).
[5] 季春,姜琴,吳錚悅.垂直搜索引擎關鍵技術研究綜述[J].情報科學,2012,\\(10\\)．