網(wǎng)絡(luò)爬蟲的應(yīng)用

今天想和大家聊聊互聯(lián)網(wǎng)技術(shù)之一——網(wǎng)絡(luò)爬蟲。在了解網(wǎng)絡(luò)爬蟲如何應(yīng)用之前，我們先帶大家了解一下，什么是網(wǎng)絡(luò)爬蟲。網(wǎng)絡(luò)爬蟲通常被稱為網(wǎng)頁蜘蛛、網(wǎng)絡(luò)機(jī)器人等，也會被業(yè)內(nèi)人士戲稱為網(wǎng)頁追逐者。因?yàn)檫@項(xiàng)技術(shù)，會按照所設(shè)定的程序和規(guī)則，自動抓取收錄網(wǎng)絡(luò)中的信息、程序或者腳本。目前被廣泛應(yīng)用于各大搜索引擎的信息抓取中。隨著互聯(lián)網(wǎng)的迅速發(fā)展，各項(xiàng)應(yīng)用工具不斷被優(yōu)化，網(wǎng)絡(luò)爬蟲技術(shù)也隨之升級，持續(xù)為有高效搜索需求的用戶提供了有力的信息技術(shù)支持，也為中小站點(diǎn)的推廣引流提供了有效的空間和渠道。

• 

  為什么要使用網(wǎng)絡(luò)爬蟲

  目前互聯(lián)網(wǎng)發(fā)展速度極快，而萬維網(wǎng)已經(jīng)形成的大量信息的堆積，我們需要一種方式來幫助我們過濾掉無用的信息，并且抓取更多有用的信息作為反饋，于是網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)運(yùn)而生。通過網(wǎng)絡(luò)爬蟲，我們可以進(jìn)行有目的的搜索，包括圖片、數(shù)據(jù)庫、音頻/視頻多媒體等不同數(shù)據(jù)，網(wǎng)絡(luò)爬蟲技術(shù)都可以根據(jù)所設(shè)定的抓取條件，對這些信息含量密集又具有一定結(jié)構(gòu)的數(shù)據(jù)進(jìn)行發(fā)現(xiàn)和獲取。這樣我們就可以花相對較少的時間去獲取相關(guān)信息，而信息的來源也將更為準(zhǔn)確。

• 

  網(wǎng)絡(luò)爬蟲抓取的目標(biāo)

  我們常說可以用網(wǎng)絡(luò)爬蟲來抓取信息，但是抓取的是哪類信息，相信很多朋友并不是特別了解。網(wǎng)絡(luò)爬蟲可抓取的信息目標(biāo)，可分為基于目標(biāo)網(wǎng)頁特征、目標(biāo)數(shù)據(jù)模式和領(lǐng)域概念這三種類型。1.基于目標(biāo)網(wǎng)頁特征：指的是爬蟲所抓取、存儲、索引的對象多為網(wǎng)站或網(wǎng)頁，其特征可以是網(wǎng)頁的內(nèi)容特征或鏈接結(jié)構(gòu)特征等多種形式。2.基于目標(biāo)數(shù)據(jù)模式：指的是網(wǎng)絡(luò)爬蟲技術(shù)所抓取的數(shù)據(jù)可轉(zhuǎn)化、映射為目標(biāo)數(shù)據(jù)模式。3.基于目標(biāo)領(lǐng)域：指的是將根據(jù)語義去分析不同目標(biāo)在某一主題領(lǐng)域中的重要程度，從而進(jìn)行選擇性抓取。

• 

  網(wǎng)絡(luò)爬蟲技術(shù)可以做什么

  網(wǎng)絡(luò)爬蟲技術(shù)，除了被廣泛應(yīng)用在搜索引擎的信息抓取方面外，日常工作中，我們還可以合理利用網(wǎng)絡(luò)爬蟲技術(shù)來進(jìn)行哪方面的工作呢？1.抓取公司人員信息。大公司的HR每天因?yàn)楣ぷ鞯脑?，要查看成百上千名員工的信息，在內(nèi)部網(wǎng)絡(luò)中如果使用爬蟲技術(shù)，就可以輕松的看到同類型信息中的不同員工單名，方便工作的開展。2.商業(yè)銀行的應(yīng)用。網(wǎng)絡(luò)爬蟲技術(shù)可以幫助商業(yè)銀行進(jìn)行自身銀行、客戶銀行、競爭對手的銀行和經(jīng)營環(huán)境等方面的了解，可以通過了解來進(jìn)行網(wǎng)絡(luò)輿情監(jiān)測、競爭對手分析等工作。

• 

  使用網(wǎng)絡(luò)爬蟲違法嗎

  相信很多懂得網(wǎng)絡(luò)爬蟲技術(shù)的朋友，都有一個疑惑，網(wǎng)絡(luò)爬蟲能獲取這么多東西，那會涉嫌網(wǎng)絡(luò)違法嗎？其實(shí)大多情況下，使用網(wǎng)絡(luò)爬蟲技術(shù)都是不違法的。像百度等搜索引擎幾乎都是用爬蟲技術(shù)獲取的，但是也有部分情況是例外的。比如：我們所要采集信息的站點(diǎn)，特別聲明了禁止爬蟲采集，或者進(jìn)行商業(yè)轉(zhuǎn)載時，如果采集了該類網(wǎng)站的信息，可能就要承擔(dān)相應(yīng)的法律責(zé)任。還有就是當(dāng)網(wǎng)站聲明了rebots協(xié)議（網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議）的，會標(biāo)明網(wǎng)站內(nèi)哪部分內(nèi)容不可被抓取，這方面需要各位注意一下。

• 

  寫網(wǎng)絡(luò)爬蟲程序的幾點(diǎn)建議

  在得知網(wǎng)絡(luò)爬蟲技術(shù)的優(yōu)勢之后，許多朋友也想自己寫一套符合工作需求的網(wǎng)絡(luò)爬蟲程序，今天向大家介紹寫網(wǎng)絡(luò)爬蟲程序的幾點(diǎn)小建議。目前，市場中的大部分網(wǎng)絡(luò)爬蟲都是用Python，Java或C#語實(shí)現(xiàn)的，寫網(wǎng)絡(luò)爬蟲可以使用Windows7 + Eclipse作為開發(fā)環(huán)境，用java開發(fā)的話，期間需要XAMPP提供通過url訪問MySQL數(shù)據(jù)庫的端口。同時，還會用到三個開源的Java類庫：用Apache Http Components 4.3 提供HTTP接口；用HTML Parser 2.0 解析網(wǎng)頁；用MySQL Connector/J 5.1.27 連接Java程序和MySQL。