成人A片高潮痉挛,精品无码一区二区三区爱欲,盛夏晚晴天在线观看 ,男女啪啪

可視化免編程

web如同一個(gè)大型的大數(shù)據(jù)庫，其中包含各種各樣有價(jià)值的信息，當(dāng)您需要把某些特定信息采集下來，卻往往可能面臨這樣的困境：

• 沒有系統(tǒng)學(xué)過Python、Ruby、PHP、Perl、Javascript、java這些編程語言，通過寫代碼實(shí)現(xiàn)數(shù)據(jù)采集難度太大。
• 網(wǎng)絡(luò)爬蟲、網(wǎng)頁抓取軟件雖然很多，但學(xué)習(xí)難度大，初學(xué)者難以上手。

集搜客GooSeeker與“技術(shù)小白”共同成長(zhǎng)。秉承此宗旨，集搜客GooSeeker抓取軟件操作簡(jiǎn)單，完全可視化操作，無需編程基礎(chǔ)，熟悉電腦操作即可輕松掌握：

• 當(dāng)定義采集規(guī)則時(shí)，用鼠標(biāo)點(diǎn)選的方式，告知集搜客軟件哪些是要抓取的內(nèi)容，系統(tǒng)會(huì)即刻自動(dòng)生成抓取規(guī)則，網(wǎng)絡(luò)爬蟲的工作流程序會(huì)根據(jù)網(wǎng)頁特征自動(dòng)適配，連拖曳和編輯采集流操作都是多余的；
• 當(dāng)程序進(jìn)行采集時(shí)，集搜客高仿真模擬真人操作，可以實(shí)現(xiàn)自動(dòng)登錄、輸入查詢條件、點(diǎn)擊鏈接、點(diǎn)擊按鈕等，還能自動(dòng)移動(dòng)鼠標(biāo)，自動(dòng)改變焦點(diǎn)，避過機(jī)器人判斷程序；

整個(gè)采集過程所見即所得，遍歷的鏈接信息、抓取結(jié)果信息、錯(cuò)誤信息等都會(huì)及時(shí)地反映在軟件界面中。讓您整個(gè)操作清晰明了，帶著輕松的心情完成自己的任務(wù)。

模板資源套用

集搜客GooSeeker的模板資源套用特性，讓您輕松快捷地獲得數(shù)據(jù)。

在集搜客資源庫中，分門別類存放著抓取規(guī)則，既可通過關(guān)鍵詞也可通過目標(biāo)網(wǎng)頁網(wǎng)址搜索到可用的抓取規(guī)則。在抓取規(guī)則的詳情頁面，您可以仔細(xì)考察一個(gè)規(guī)則的抓取結(jié)果是否滿足您的需要，如果滿足，只需點(diǎn)擊“下載”按鈕，即可在會(huì)員中心一鍵啟動(dòng)集搜客網(wǎng)絡(luò)爬蟲，抓取到你想要的數(shù)據(jù)。比如：

• 電商網(wǎng)站上價(jià)格、評(píng)論的抓取規(guī)則
• B2B網(wǎng)站上的聯(lián)系人、聯(lián)系電話的抓取規(guī)則
• 微博上的消息、話題、興趣、活動(dòng)等網(wǎng)頁內(nèi)容的抓取規(guī)則s

省卻自己定義抓取規(guī)則的麻煩，像直接套用網(wǎng)頁模板一樣使用發(fā)布出來的規(guī)則。對(duì)于初學(xué)者或者業(yè)務(wù)目標(biāo)導(dǎo)向的用戶，模板資源套用是一條捷徑。

通用網(wǎng)絡(luò)爬蟲

集搜客GooSeeker網(wǎng)絡(luò)爬蟲與其它網(wǎng)絡(luò)爬蟲相比，在易用性方面已經(jīng)遠(yuǎn)遠(yuǎn)勝出，加上 一鍵啟動(dòng)網(wǎng)絡(luò)爬蟲這個(gè)獨(dú)特性功能和整個(gè)[資源共享平臺(tái)]的支撐，已經(jīng)大大降低了對(duì)用戶的技術(shù)基礎(chǔ)條件的要求。然而，網(wǎng)頁抓取畢竟是一個(gè)技術(shù)工作，需要適當(dāng)掌握HTML等基礎(chǔ)知識(shí)。也就是說需要花費(fèi)一些時(shí)間學(xué)習(xí)這個(gè)軟件的使用方法。既然已經(jīng)有所投入（即便是時(shí)間上的），那么網(wǎng)絡(luò)爬蟲的通用性高低顯得十分重要。

集搜客網(wǎng)絡(luò)爬蟲歷經(jīng)8年行業(yè)歷練，采用功能強(qiáng)大的火狐瀏覽器內(nèi)核，所見即所得。很多動(dòng)態(tài)內(nèi)容并不在HTML文檔中出現(xiàn)，而是動(dòng)態(tài)加載，都不影響精確抓取他們，而且不用網(wǎng)絡(luò)嗅探器從底層分析網(wǎng)絡(luò)通信消息，與抓取靜態(tài)網(wǎng)頁一樣可視化定義抓取規(guī)則。再加上開發(fā)者接口，能夠模擬十分復(fù)雜的鼠標(biāo)和鍵盤動(dòng)作，一邊動(dòng)作一邊抓取。

抓取范圍可以歸納成如下幾類：

• 各種網(wǎng)站類型：新聞、論壇、電商、社交網(wǎng)站、行業(yè)資訊、金融網(wǎng)站、企業(yè)門戶、政府網(wǎng)站等各種網(wǎng)站都可抓??；
• 各種網(wǎng)頁類型：服務(wù)器側(cè)動(dòng)態(tài)頁面、瀏覽器側(cè)動(dòng)態(tài)頁面（AJAX內(nèi)容）、靜態(tài)頁面都可抓取，甚至可以抓取沒有終點(diǎn)的瀑布流頁面、web qq的會(huì)話過程等。集搜客爬蟲在默認(rèn)狀態(tài)下就可抓取AJAX/Javascript動(dòng)態(tài)頁面、服務(wù)器動(dòng)態(tài)網(wǎng)頁等動(dòng)態(tài)頁面,無需其他設(shè)置；甚至還可以自動(dòng)滾屏抓取動(dòng)態(tài)加載的內(nèi)容。
• 與PC網(wǎng)站一樣，手機(jī)網(wǎng)站均可抓?。?爬蟲可模擬移動(dòng)端agent；
• 所有語言文字：不用特殊設(shè)置，自動(dòng)支持所有語言編碼，國(guó)際語言一視同仁；

可見，使用集搜客網(wǎng)絡(luò)爬蟲，整個(gè)互聯(lián)網(wǎng)成為你的數(shù)據(jù)庫!

會(huì)員互助抓取

這是爬蟲群并行抓取的一種特殊情形，利用這個(gè)功能，您可以低成本快速匯集海量數(shù)據(jù)。場(chǎng)景描述如下：

• 當(dāng)你要大批量快速或者頻繁地抓取數(shù)據(jù)時(shí)，從數(shù)據(jù)量方面考察，需要多臺(tái)電腦，您自己的電腦不夠用
• 時(shí)間緊張，從而采集活動(dòng)密度很高，比如，一秒鐘內(nèi)從微博上采集很多條消息，只用您自己的電腦，很容易被目標(biāo)網(wǎng)站封鎖
• 目標(biāo)網(wǎng)站對(duì)采集量有嚴(yán)格限制，比如，抓取機(jī)票價(jià)格
• 需要登錄以后才能抓取，您需要大量賬號(hào)同時(shí)登錄。

那么，您可以創(chuàng)建一個(gè)工作組，并邀請(qǐng)網(wǎng)友加入，為了得到更多會(huì)員的響應(yīng)，您可以發(fā)“紅包”，接受任務(wù)的社友就會(huì)用他的的電腦幫你分擔(dān)采集數(shù)據(jù)。 在社區(qū)中別人會(huì)幫你采集數(shù)據(jù)，當(dāng)然你也可以幫助社友抓取數(shù)據(jù)，賺取更多的積分，后面有任務(wù)時(shí)再把積分懸賞發(fā)給社友。

使用過程中要注意：

• 發(fā)布：可在社區(qū)圈中發(fā)布，發(fā)布時(shí)選擇懸賞類型、懸賞積分?jǐn)?shù)、時(shí)間限制，懸賞發(fā)布后不可刪除、編輯。
• 回復(fù)：指對(duì)懸賞任務(wù)進(jìn)行回復(fù)、解答幫助

不限深度不限廣度

從網(wǎng)站上采集數(shù)據(jù)，尤其采集大型網(wǎng)站時(shí)，被采集的數(shù)據(jù)往往位于網(wǎng)站的不同層級(jí)的網(wǎng)頁上，大大增加了網(wǎng)絡(luò)爬蟲采集數(shù)據(jù)的難度。百度或者google這樣的綜合網(wǎng)絡(luò)爬蟲，能夠自動(dòng)管理爬行的深度和廣度。我們這里討論的是聚焦網(wǎng)絡(luò)爬蟲，希望能夠以盡量低的成本獲得數(shù)據(jù)，而且希望只獲取需要的網(wǎng)頁內(nèi)容。所謂聚焦，主要包含兩方面：

• 所抓取的網(wǎng)頁（無論深度還是廣度）都是預(yù)先規(guī)劃好的，不像綜合網(wǎng)絡(luò)爬蟲那樣自動(dòng)去發(fā)現(xiàn)向深度和廣度發(fā)展的新線索。可見，在受控范圍內(nèi)爬行必然會(huì)降低成本。
• 從網(wǎng)頁上抓取的內(nèi)容也是預(yù)先定義好的，這就是所謂的抓取規(guī)則。不像綜合網(wǎng)絡(luò)爬蟲那樣把整個(gè)網(wǎng)頁文本內(nèi)容都抓下來。可見，精確抓取可用于數(shù)據(jù)挖掘和情報(bào)分析，因?yàn)樵胍粢驯痪_地過濾掉了。

集搜客GooSeeker就是這樣的聚焦網(wǎng)絡(luò)爬蟲，但是跟其他市面上的采集器不同：

• 集搜客對(duì)網(wǎng)站深度和廣度不設(shè)限，任由您規(guī)劃。集搜客要做純粹的大數(shù)據(jù)能力開放平臺(tái)，不會(huì)用收費(fèi)版本方式把這個(gè)能力藏起來。
• 集搜客對(duì)采集數(shù)量不設(shè)限，不會(huì)根據(jù)時(shí)間或者根據(jù)網(wǎng)頁數(shù)量扣取積分或者費(fèi)用，您把整個(gè)互聯(lián)網(wǎng)下載下來都行。

什么是網(wǎng)站深度和廣度

在網(wǎng)站的信息架構(gòu)中，有一種組織結(jié)構(gòu)叫做樹形結(jié)構(gòu)：網(wǎng)站首頁視為鏈接層級(jí)中第一級(jí)，與其有從屬關(guān)系的頁面視為鏈接層級(jí)中的第二級(jí)，一般稱其為二級(jí)頁面。通過二級(jí)頁面又可以繼續(xù)得到第三級(jí)頁面，依此類推可以得到一個(gè)完整的樹形鏈接結(jié)構(gòu)。這樣一個(gè)完整的鏈接結(jié)構(gòu)，如圖1所示。

在整個(gè)樹形結(jié)構(gòu)中，鏈接的層數(shù)被稱為網(wǎng)頁鏈接的【深度】（depth）。而在樹形結(jié)構(gòu)里，每層頁面包含的頁面總數(shù)被稱為網(wǎng)頁鏈接的【廣度】（breadth）[1]。因此，圖1中樹形結(jié)構(gòu)深度3,樹形結(jié)構(gòu)第三層的廣度為5.

抓取指數(shù)圖表

進(jìn)入大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)不再局限于發(fā)布文字內(nèi)容和提供關(guān)鍵詞搜索。越來越多的數(shù)據(jù)經(jīng)過統(tǒng)計(jì)、分析、挖掘，并用可視化圖表展示出來，比如，

• 百度指數(shù)
• 百度司南
• 淘寶指數(shù)
• 如果您運(yùn)營(yíng)一個(gè)網(wǎng)站，一般會(huì)采用某個(gè)網(wǎng)站分析（Web Analytics）工具，通常在這個(gè)工具上看到的是用圖表展示的經(jīng)營(yíng)指標(biāo)
• 如果您經(jīng)營(yíng)一個(gè)網(wǎng)店，比如，淘寶店鋪，一般會(huì)用電商平臺(tái)提供的經(jīng)營(yíng)工具和營(yíng)銷工具等，也會(huì)看到很多圖表內(nèi)容。

還有眾多垂直領(lǐng)域的指數(shù)圖表網(wǎng)站，他們對(duì)數(shù)據(jù)進(jìn)行深度挖掘加工以后展示出來。那么從網(wǎng)頁上抓取數(shù)據(jù)不再局限于文本內(nèi)容，如果能夠直接從圖表上抓取數(shù)字將有更大價(jià)值，原因如下：

• 對(duì)于網(wǎng)絡(luò)資訊，圖表顯示了文章最核心的結(jié)論信息，如果放棄圖表信息，就會(huì)損失掉這種重要信息點(diǎn)；
• 對(duì)于經(jīng)營(yíng)分析工具，雖然可以在線看圖表，如果您經(jīng)營(yíng)多個(gè)店鋪想看綜合經(jīng)營(yíng)指標(biāo)，或者您想將重要的經(jīng)營(yíng)數(shù)據(jù)存入自己的數(shù)據(jù)中心，那么就得想辦法把需要的數(shù)據(jù)抓取下來。

集搜客網(wǎng)絡(luò)爬蟲具有強(qiáng)大的圖表數(shù)據(jù)抓取能力，而且提供一個(gè)開發(fā)者擴(kuò)展接口，允許技術(shù)基礎(chǔ)高的用戶用Javascript自定義更高級(jí)的網(wǎng)絡(luò)爬蟲動(dòng)作，比如

• 驅(qū)動(dòng)鼠標(biāo)在圖表上移動(dòng)，抓取懸停后顯示的數(shù)據(jù)
• 模擬人的連續(xù)的鼠標(biāo)點(diǎn)擊動(dòng)作
• 連續(xù)地輸入查詢條件

總之，集搜客GooSeeker網(wǎng)絡(luò)爬蟲不僅能抓取文本數(shù)據(jù)、圖片、表格，還能模擬鼠標(biāo)動(dòng)作，抓取在指數(shù)圖表上懸浮顯示的數(shù)據(jù)，無論是新聞資訊圖表、電商網(wǎng)站上的產(chǎn)品介紹圖片、電商經(jīng)營(yíng)分析數(shù)據(jù)還是指數(shù)走勢(shì)圖，只要使用集搜客軟件就能抓取到完整的圖表信息，讓整個(gè)互聯(lián)網(wǎng)成為您的數(shù)據(jù)資源庫。

本地化存儲(chǔ)保護(hù)隱私

在互聯(lián)網(wǎng)時(shí)代，用戶的隱私安全越來越受到人們重視，而集搜客GooSeeker的本地化存儲(chǔ)機(jī)制，能充分保護(hù)用戶隱私安全。體現(xiàn)在多方面：

• 集搜客把所有采集結(jié)果數(shù)據(jù)直接存儲(chǔ)在用戶個(gè)人電腦上(如圖1所示)，便于用戶對(duì)采集結(jié)果數(shù)據(jù)做各種處理。
• 如果被采集的目標(biāo)網(wǎng)站需要登錄，用戶可以先行用火狐登錄目標(biāo)網(wǎng)站在運(yùn)行集搜客網(wǎng)絡(luò)爬蟲，個(gè)人隱私由火狐的SecurityManager管理，任何程序無法獲知賬號(hào)和密碼，充分保證用戶的個(gè)人隱私的安全。
• 集搜客把采集任務(wù)放在用戶個(gè)人電腦上運(yùn)行，用戶的采集數(shù)據(jù)行為別人是看不到的，所以，無論結(jié)果還是過程都得到了充分保護(hù)。同時(shí)本地運(yùn)行采集任務(wù)也保證了高速、穩(wěn)定和可靠。

相反，如圖2所示，其他云采集方案要求用戶必須把賬號(hào)和密碼先存儲(chǔ)在大家都共享的云數(shù)據(jù)庫，讓云端的網(wǎng)絡(luò)爬蟲自動(dòng)登錄后執(zhí)行采集，大大增加用戶賬戶泄露的可能性，同時(shí)，云采集數(shù)據(jù)必需經(jīng)過云服務(wù)器再到用戶個(gè)人電腦，增加用戶采集行為和結(jié)果數(shù)據(jù)被暴露的可能。

自動(dòng)登錄驗(yàn)證碼識(shí)別

在采集網(wǎng)站數(shù)據(jù)的時(shí)候，需要輸入驗(yàn)證碼的情形很多

• 登錄時(shí)需要輸入驗(yàn)證碼
• 采集過程中在不確定的時(shí)間要求輸入驗(yàn)證碼
• 翻頁采集微博消息，翻頁數(shù)量達(dá)到一定數(shù)字后，出現(xiàn)驗(yàn)證碼
• 采集電商評(píng)論或者成交記錄數(shù)據(jù)時(shí)，翻頁數(shù)量達(dá)到一定數(shù)量后，出現(xiàn)驗(yàn)證碼
• 采集機(jī)票信息更容易出現(xiàn)驗(yàn)證碼

通常驗(yàn)證碼是為了阻止自動(dòng)化程序過于頻繁訪問一個(gè)網(wǎng)站，所以，出現(xiàn)的驗(yàn)證碼可能會(huì)很難辨認(rèn)，連人眼辨認(rèn)都很困難，自動(dòng)程序識(shí)別驗(yàn)證碼就更困難了。

在數(shù)據(jù)采集過程中，如果不能及時(shí)輸入驗(yàn)證碼，或者輸入了錯(cuò)誤的驗(yàn)證碼，就會(huì)致使網(wǎng)頁無法顯示，數(shù)據(jù)抓取也會(huì)中斷，這也加大了自動(dòng)化持續(xù)采集數(shù)據(jù)的難度。集搜客GooSeeker網(wǎng)絡(luò)爬蟲從多個(gè)方面應(yīng)對(duì)驗(yàn)證碼：

• 可以設(shè)置爬行速度，不要過于頻繁訪問某個(gè)網(wǎng)站；
• 具有自動(dòng)登錄功能，只需要設(shè)置相關(guān)參數(shù)，就可以控制集搜客網(wǎng)絡(luò)爬蟲定期自動(dòng)登錄相應(yīng)的賬號(hào)；
• 定期切換登錄賬號(hào)，可以有效地減少賬號(hào)封鎖的風(fēng)險(xiǎn)；
• 采用集搜客特有的 集搜功能、會(huì)員互助抓取能力和爬蟲群并行抓取，做到采集流量分散，甚至可以定期更換IP地址和清空cookie；

一旦遇到驗(yàn)證碼、或者在自動(dòng)登錄時(shí)必須輸入驗(yàn)證碼的情形，集搜客GooSeeker網(wǎng)絡(luò)爬蟲與互聯(lián)網(wǎng)打碼平臺(tái)對(duì)接，實(shí)時(shí)完成驗(yàn)證碼輸入。因?yàn)榇虼a平臺(tái)聚合了海量的打碼人群，既能滿足實(shí)時(shí)性要求，又能達(dá)到自動(dòng)識(shí)別無法實(shí)現(xiàn)的精度。有效防止數(shù)據(jù)抓取中斷，無需人工看管。

定時(shí)自啟動(dòng)采集

集搜客GooSeeker網(wǎng)頁抓取軟件可以設(shè)置定時(shí)自動(dòng)采集，完全無需人工干預(yù)，自動(dòng)采集最新數(shù)據(jù)，自動(dòng)實(shí)現(xiàn)持續(xù)增量數(shù)據(jù)采集。比如

• 持續(xù)抓取論壇上的新發(fā)帖子;
• 持續(xù)抓取微博、twitter或者其它社交網(wǎng)站用戶討論。
• 持續(xù)跟蹤在線商城的商品價(jià)格、用戶評(píng)論、成交記錄;
• 在一個(gè)產(chǎn)品發(fā)布會(huì)前后，持續(xù)跟蹤新聞的跟評(píng)，研究營(yíng)銷效果、用戶對(duì)廣告的態(tài)度、用戶對(duì)品牌的態(tài)度
• 輿情監(jiān)測(cè)需要實(shí)時(shí)自動(dòng)抓取最新消息，才能掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。
• 商品比價(jià)需按照計(jì)劃自動(dòng)抓取商品價(jià)格，做出比較分析。

上圖是手機(jī)消費(fèi)者洞察系統(tǒng)中的一個(gè)截圖，為了研究消費(fèi)者品牌認(rèn)知和態(tài)度，需要從互聯(lián)網(wǎng)上采集所有用戶評(píng)論信息，而且每天定時(shí)自動(dòng)啟動(dòng)網(wǎng)絡(luò)爬蟲運(yùn)行多次，把最新內(nèi)容增量采集下來。

爬蟲群并行抓取

想要A網(wǎng)站、B網(wǎng)站、C網(wǎng)站……等等多個(gè)網(wǎng)站一起采集怎么辦？

• 集搜客(GooSeeker)可以讓您在一臺(tái)機(jī)器上同時(shí)運(yùn)行多個(gè)網(wǎng)絡(luò)爬蟲任務(wù)，并行抓??；
• 也可以讓您在多臺(tái)電腦上并行運(yùn)行多個(gè)任務(wù)，即可以抓取相同網(wǎng)站，也可以抓取不同網(wǎng)站。

多個(gè)任務(wù)，快速采集，高效作業(yè)，讓您的工作變得輕松愉快。

大數(shù)據(jù)時(shí)代，就是海量信息時(shí)代，我們有時(shí)候需要的數(shù)據(jù)量非常多，然而受到個(gè)人電腦的性能和網(wǎng)速的限制，數(shù)據(jù)獲取者常常在數(shù)據(jù)獲取方面耗費(fèi)大量的時(shí)間和精力。所以當(dāng)您的采集任務(wù)過于繁重時(shí)，您可以借助您的小伙伴的電腦，讓多臺(tái)電腦同時(shí)為您的采集任務(wù)服務(wù)，如果您一時(shí)沒辦法找到足夠的幫助資源，可以來我們的社區(qū)，向其他小伙伴尋求幫助；集搜客的并行抓取功能，一方面可以幫助個(gè)人解決效率低下的問題，另一方面也促進(jìn)社區(qū)閑散資源的整合利用；所以請(qǐng)加入我們的集搜客社區(qū)，快速尋求支援，既可以將自己的閑散資源進(jìn)行有效的商業(yè)轉(zhuǎn)化，也是增進(jìn)收入的另一種選擇。

一鍵“集搜”啟動(dòng)多爬蟲抓取數(shù)據(jù)

對(duì)于百萬、千萬甚至更大的的網(wǎng)頁抓取量，可選擇 分布式采集的方式，把采集任務(wù)分配到多臺(tái)電腦上執(zhí)行，這需要在集搜客會(huì)員中心創(chuàng)建工作組，啟動(dòng)會(huì)員互助抓取。但如果抓取量不那么大，或者即便啟動(dòng)多機(jī)并行抓取，也希望在一臺(tái)計(jì)算機(jī)上并行運(yùn)行多個(gè)爬蟲程序，從而充分利用計(jì)算機(jī)的能力，這就可以用到集搜客新增的“集搜”功能。

“集搜”功能能夠支持同一臺(tái)電腦手工啟動(dòng)并行運(yùn)行多個(gè)爬蟲窗口，無需編程，只需在DS打數(shù)機(jī)的操作界面的 抓取規(guī)則列表上點(diǎn)擊“集搜”按鈕，就能為該規(guī)則啟動(dòng)一個(gè)爬蟲窗口。如果列表一共羅列了20個(gè)抓取規(guī)則，則可以同時(shí)運(yùn)行20個(gè)爬蟲窗口。

集搜客網(wǎng)絡(luò)爬蟲還可以 自動(dòng)啟動(dòng)定時(shí)抓取任務(wù)，同樣也可以啟動(dòng)多個(gè)并行抓取窗口，達(dá)到相同的目的。但是，集搜功能是一鍵點(diǎn)擊手工啟動(dòng)的，免除編寫自啟動(dòng)指令文件，更加便捷。

相對(duì)于其它網(wǎng)頁抓取軟件提供的云采集服務(wù)，雖然云采集號(hào)稱并行利用云中的眾多服務(wù)器，理論上能夠達(dá)到同樣的目的，但是在云中運(yùn)行的任務(wù)無法實(shí)時(shí)掌控他們的運(yùn)行狀態(tài)，假設(shè)需要實(shí)時(shí)比價(jià)或者負(fù)面口碑或者危機(jī)跟蹤，時(shí)間過去了才發(fā)現(xiàn)沒有抓全，再補(bǔ)救就來不及了。另外，云資源需要排隊(duì)等待，時(shí)間不可控，無法用于時(shí)效性要求高的場(chǎng)合，當(dāng)然，云資源付費(fèi)使用也是不得不面對(duì)的問題。

手機(jī)網(wǎng)站數(shù)據(jù)抓取

爬蟲不僅可以抓取PC網(wǎng)站上的數(shù)據(jù)，還可以抓取手機(jī)網(wǎng)站上的數(shù)據(jù)。移動(dòng)互聯(lián)網(wǎng)強(qiáng)勢(shì)崛起后，人們通過手機(jī)訪問互聯(lián)網(wǎng)的頻率越來越高，同一個(gè)目標(biāo)網(wǎng)站，移動(dòng)端和PC端顯示的內(nèi)容是不一樣的，有區(qū)別的場(chǎng)景舉例如下：

• 有些網(wǎng)站采用相同網(wǎng)址，但是用PC訪問和用手機(jī)訪問看到的內(nèi)容會(huì)不一樣
• 有些電商網(wǎng)站的商品的價(jià)格移動(dòng)端比PC端低，要監(jiān)測(cè)產(chǎn)品的價(jià)格必須同時(shí)監(jiān)測(cè)移動(dòng)端的價(jià)格。同樣，手機(jī)上看到的促銷活動(dòng)和貨架貨品內(nèi)容都可能不一樣。

使用GooSeeker采集手機(jī)網(wǎng)站數(shù)據(jù)和采用PC網(wǎng)站數(shù)據(jù)同樣簡(jiǎn)單， 可視化定義抓取規(guī)則的過程完全一樣。

為了告知目標(biāo)網(wǎng)站目前使用手機(jī)端（模擬的），需要設(shè)置agent類型，從而網(wǎng)絡(luò)爬蟲使用指定類型的agent訪問網(wǎng)站，使PC端看到移動(dòng)端的網(wǎng)頁內(nèi)容。這樣就能用同一個(gè)集搜客網(wǎng)頁抓取程序獲得手機(jī)站內(nèi)容。

（請(qǐng)注意：這個(gè)功能并不涉及手機(jī)APP的內(nèi)容抓取，抓取的內(nèi)容仍然來自于網(wǎng)頁，是適合手機(jī)屏幕大小網(wǎng)頁。）