GooSeeker網絡爬蟲 v9.2.0 中文特別版

軟件介紹

GooSeeker特別版是一款專門用來抓取各種網頁信息的數據采集軟件，我們可以通過這款軟件來獲取網頁上的文字、圖片、表格、超鏈接等多種不同元素。用戶通過GooSeeker網絡爬蟲采集完網頁數據之后，就可以對這些數據進行編輯和處理，適合網站編輯以及網絡營銷人員使用。

GooSeeker特別版軟件簡介

集搜客網絡爬蟲工具，能夠采集網頁文字、圖片、表格、超鏈接等多種網頁元素，不限深度和廣度抓取網頁數據，可視化免編程，網頁內容可見即可采，讓你輕松搞定網頁數據，使用這些數據尋找潛在客戶，進行數據研究，商機挖掘...等，讓你隨心所欲玩轉大數據。是學生、站長、電商、研究人員、HR...的必備神器。

軟件特色

1、直觀點選 海量采集：用鼠標點選就能采集數據，不需要技術基礎，爬蟲群并發抓取海量網頁，適合大數據場景，無論動態或靜態網頁，ajax和html一樣采集，文本和圖片一站采集，不再需要下圖軟件

2、整理報表：從公司年報摘錄數據、從政府報告摘錄數據、從政策文件摘錄數據、從PDF文件摘錄數據、生成結構化的excel報表

3、摘錄筆記：為學術論文收集素材、為研究報告收集素材、為市場營銷準備彈藥、隨想隨記拓展知識

4、文本分詞和標簽化：自動分詞，建設特征詞庫、文本標簽化形成特征詞對應表、用于多維度量化計算和分析、發現行業動態，發現市場機會，解讀政策，快速掌握主旨要點

GooSeeker特別版軟件功能

web如同一個大型的數據庫，其中包含各種各樣有價值的信息，當您需要把某些特定信息采集下來，卻往往可能面臨這樣的困境：

沒有系統學過Python、Ruby、PHP、Perl、Javascript、java這些編程語言，通過寫代碼實現數據采集難度太大。

網絡爬蟲、網頁抓取軟件雖然很多，但學習難度大，初學者難以上手。

集搜客GooSeeker與“技術小白”共同成長。秉承此宗旨，集搜客GooSeeker抓取軟件操作簡單，完全可視化操作，無需編程基礎，熟悉電腦操作即可輕松掌握：

當定義采集規則時，用鼠標點選的方式，告知集搜客軟件哪些是要抓取的內容，系統會自動生成抓取規則，網絡爬蟲的工作流程序會根據網頁特征自動適配，連拖曳和編輯采集流操作都是多余的；

當程序進行采集時，集搜客高仿真模擬真人操作，可以實現自動登錄、輸入查詢條件、點擊鏈接、點擊按鈕等，還能自動移動鼠標，自動改變焦點，避過機器人判斷程序；

整個采集過程所見即所得，遍歷的鏈接信息、抓取結果信息、錯誤信息等都會及時地反映在軟件界面中。讓您整個操作清晰明了，帶著輕松的心情完成自己的任務。

模板資源套用

集搜客GooSeeker的模板資源套用特性，讓您輕松快捷地獲得數據。

在集搜客資源庫中，分門別類存放著抓取規則，既可通過關鍵詞也可通過目標網頁網址搜索到可用的抓取規則。在抓取規則的詳情頁面，您可以仔細考察一個規則的抓取結果是否滿足您的需要，如果滿足，只需點擊“下載”按鈕，即可在會員中心一鍵啟動集搜客網絡爬蟲，抓取到你想要的數據。比如：

電商網站上價格、評論的抓取規則

B2B網站上的聯系人、聯系電話的抓取規則

微博上的消息、話題、興趣、活動等網頁內容的抓取規則

省卻自己定義抓取規則的麻煩，像直接套用網頁模板一樣使用發布出來的規則。對于初學者或者業務目標導向的用戶，模板資源套用是一條捷徑。

通用網絡爬蟲

集搜客GooSeeker網絡爬蟲與其它網絡爬蟲相比，在易用性方面已經遠遠勝出，加上 一鍵啟動網絡爬蟲這個獨特性功能和整個[資源共享平臺]的支撐，已經大大降低了對用戶的技術基礎條件的要求。然而，網頁抓取畢竟是一個技術工作，需要適當掌握HTML等基礎知識。也就是說需要花費一些時間學習這個軟件的使用方法。既然已經有所投入（即便是時間上的），那么網絡爬蟲的通用性高低顯得十分重要。

集搜客網絡爬蟲歷經8年行業歷練，采用功能強大的火狐瀏覽器內核，所見即所得。很多動態內容并不在HTML文檔中出現，而是動態加載，都不影響精確抓取他們，而且不用網絡嗅探器從底層分析網絡通信消息，與抓取靜態網頁一樣可視化定義抓取規則。再加上開發者接口，能夠模擬十分復雜的鼠標和鍵盤動作，一邊動作一邊抓取。

抓取范圍可以歸納成如下幾類：

各種網站類型：新聞、論壇、電商、社交網站、行業資訊、金融網站、企業門戶、政府網站等各種網站都可抓??；

各種網頁類型：服務器側動態頁面、瀏覽器側動態頁面（AJAX內容）、靜態頁面都可抓取，甚至可以抓取沒有終點的瀑布流頁面、web qq的會話過程等。集搜客爬蟲在默認狀態下就可抓取AJAX/Javascript動態頁面、服務器頁等動態頁面,無需其他設置；甚至還可以自動滾屏抓取動態加載的內容。

與PC網站一樣，手機網站均可抓?。?爬蟲可模擬移動端agent；

所有語言文字：不用特殊設置，自動支持所有語言編碼，國際語言一視同仁；

可見，使用集搜客網絡爬蟲，整個互聯網成為你的數據庫!

GooSeeker瀏覽器

會員互助抓取

這是爬蟲群并行抓取的一種特殊情形，利用這個功能，您可以低成本快速匯集海量數據。場景描述如下：

當你要大批量快速或者頻繁地抓取數據時，從數據量方面考察，需要多臺電腦，您自己的電腦不夠用

時間緊張，從而采集活動密度很高，比如，一秒鐘內從微博上采集很多條消息，只用您自己的電腦，很容易被目標網站封鎖

目標網站對采集量有嚴格限制，比如，抓取機票價格

需要登錄以后才能抓取，您需要大量賬號同時登錄。

那么，您可以創建一個工作組，并邀請網友加入，為了得到更多會員的響應，您可以發“紅包”，接受任務的社友就會用他的的電腦幫你分擔采集數據。 在社區中別人會幫你采集數據，當然你也可以幫助社友抓取數據，賺取更多的積分，后面有任務時再把積分懸賞發給社友。

使用過程中要注意：

發布：可在社區圈中發布，發布時選擇懸賞類型、懸賞積分數、時間限制，懸賞發布后不可刪除、編輯。

回復：指對懸賞任務進行回復、解答幫助

不限深度不限廣度

從網站上采集數據，尤其采集大型網站時，被采集的數據往往位于網站的不同層級的網頁上，大大增加了網絡爬蟲采集數據的難度。百度或者google這樣的綜合網絡爬蟲，能夠自動管理爬行的深度和廣度。我們這里討論的是聚焦網絡爬蟲，希望能夠以盡量低的成本獲得數據，而且希望只獲取需要的網頁內容。所謂聚焦，主要包含兩方面：

所抓取的網頁（無論深度還是廣度）都是預先規劃好的，不像綜合網絡爬蟲那樣自動去發現向深度和廣度發展的新線索?？梢?，在受控范圍內爬行必然會降低成本。

從網頁上抓取的內容也是預先定義好的，這就是所謂的抓取規則。不像綜合網絡爬蟲那樣把整個網頁文本內容都抓下來?？梢?，精確抓取可用于數據挖掘和情報分析，因為噪音已被精確地過濾掉了。

集搜客GooSeeker就是這樣的聚焦網絡爬蟲，但是跟其他市面上的采集器不同：

集搜客對網站深度和廣度不設限，任由您規劃。集搜客要做純粹的大數據能力開放平臺，不會用收費版本方式把這個能力藏起來。

集搜客對采集數量不設限，不會根據時間或者根據網頁數量扣取積分或者費用，您把整個互聯網下載下來都行

安裝步驟

1、將軟件資源包下載到電腦上后解壓出來，運行安裝程序運行，開始安裝，選擇“簡體中文”下一步，繼續安裝

2、點擊“瀏覽”可以更改軟件安裝目錄，設置你的個人偏好然后繼續安裝

3、勾選“創建桌面快捷方式”復選框，創建桌面快捷方式，以便日后啟動程序

4、等待安裝文件釋放完成即可成功安裝GooSeeker

GooSeeker特別版使用說明

一、打開DS打數機

有兩種打開方法，如果您剛剛在MS謀數臺上做好規則，請看第一種。如果是下載的規則請看第二種(第二種適用于所有情況)，請注意：這兩種方法打開的DS打數機的窗口顏色是不一樣的，第二種方法打開的是全功能窗口，詳情見DS打數機的窗口類型。

1)點擊MS謀數臺的“爬數據”按鈕，就會自動彈出DS打數機并且開始采集數據，如下圖。

2)火狐插件版請去火狐的工具菜單里打開DS打數機，如下圖。如果看不到菜單欄，請參考文章如何顯示火狐菜單欄。

3)獨立軟件版請點擊右上角的DS打數機進行啟動，如下圖。

二、點擊“單搜”或“集搜”采集數據

1)搜索主題名，如果忘了名字，可以輸入*進行模糊查找，然后點擊“單搜”，在彈出框中輸入要抓取的線索數，即網址數，確定后DS打數機就會瀏覽網頁，這就是在采集數據，如下圖。

2)輸入的線索數最好要<=等待抓取的線索數量，建議先統計一下規則有多少線索，操作：右擊主題名，選擇“統計線索”，查看等待抓取的線索有多少，如下圖。

注意：如果提示“沒有等待抓取的線索”，說明已經都采集完了所有等待抓取的線索，可通過會員中心添加線索或激活原有線索繼續采集，并且，一個規則可以抓取結構相同的網頁數據，例如，做了一個微博搜索關鍵詞的規則，把各種關鍵詞的微博搜索網址添加到該規則，采集時就會依次采集這些網頁數據。

3)點擊“集搜”并發采集數據

如果一個規則有大量等待抓取的線索，可以利用“集搜”增加一個DS窗口同時采集數據，如圖4，方法是：點擊“集搜”按鈕，輸入要抓取的線索數，就會彈出新的DS窗口來抓數據。集搜與單搜都是用來啟動抓取任務，區別在于集搜能增加一個新的DS窗口，而單搜不能，詳情見單搜與集搜的區別。

三、用爬蟲群并發采數據

爬蟲群支持在一臺電腦并發運行多個爬蟲。它整合了crontab爬蟲調度程序、DS打數機主要功能、數據庫存儲三大功能塊，讓您可以高效采數據以及監控規則的運作情況。