robots文件里該不該加上sitemap地址

　　突然間靈光乍現(xiàn)，有個(gè)有趣的問題就是我們?cè)摬辉撛诰W(wǎng)站robots.txt文件中加入網(wǎng)站地圖的地址。有種說法就是搜索引擎抓取一個(gè)網(wǎng)站首先會(huì)抓取robots文件，這樣把sitemap地址寫在robots文件里，這樣搜索引擎可以地址直接的對(duì)網(wǎng)站地圖進(jìn)行抓取，可以加快鏈接收錄的速度，那么真相到底是有沒有用呢？又要進(jìn)行一次打擊了，不僅沒有用還會(huì)有弊端哦。

　　什么是robots

　　robots是一個(gè)名為robots.txt的文件位于網(wǎng)站的根目錄。是一個(gè)與爬蟲之間的協(xié)議，告知搜索引擎哪些頁面目錄是允許被抓取的，哪些目錄是不被允許抓取的。對(duì)于SEO來說可以把有限抓取數(shù)量集中在重要的頁面，同時(shí)保護(hù)隱私內(nèi)容不被抓取。具體的robots文件怎么編寫前面已經(jīng)講過了。

　　為什么不申明sitemap地圖

　　為什么不在robots文件里申明網(wǎng)站地圖的地址，因?yàn)闆]有任何作用。雖然說搜索引擎首先會(huì)抓取robots的內(nèi)容，但是我們要知道robots文件只是告訴搜索引擎哪些目錄可以抓取，可以抓取的內(nèi)容頁不代表搜索引擎會(huì)在第一時(shí)間去抓取的，更何況鏈接地址不是屬于robots格式的標(biāo)準(zhǔn)允許的內(nèi)容，很大的可能會(huì)被爬蟲直接的拋棄，即使是會(huì)去抓取，那么也是只是給予蜘蛛一個(gè)可以抓取的權(quán)限，并不能決定取抓取。下面就拿出一些證據(jù)來證明。

　　大家可以從第一張圖得出一個(gè)結(jié)論蜘蛛是每天都會(huì)來抓取，但是從圖二看出來通過sitemap抓取的鏈接是有周期性，并且是選擇的抓取一定數(shù)量。搜索從數(shù)據(jù)證明了在robots文件里寫明網(wǎng)站地圖地址是沒有作用的，但是有的人會(huì)覺得即使沒用放在里面也不礙事，也許會(huì)有點(diǎn)用。但是sitemap地址過于公開并不是什么好事情。

　　sitemap公開的危害

　　網(wǎng)站地址是一個(gè)網(wǎng)站所有資源的合集，通過sitemap我們可以快速知道網(wǎng)站的結(jié)構(gòu)以及所有頁面的網(wǎng)址?，F(xiàn)在這個(gè)網(wǎng)絡(luò)環(huán)境非常喜歡的抄襲，從服務(wù)器日志可以看到，每天會(huì)有很多惡意的爬蟲來爬取內(nèi)容。

　　當(dāng)你在robots文件里申明網(wǎng)站地圖的地址，或者在網(wǎng)站頁面上留了網(wǎng)站地圖的鏈接，這些行為正好是方面了別人來取出你整站的內(nèi)容。如果你把sitemap隱藏好，那么想要把整個(gè)網(wǎng)站抓取完全還要保持高效率不重復(fù)，是很難做到的，即使是搜索引擎都沒法這個(gè)完整和搞笑的抓取。

　　因此，建議大家把網(wǎng)站地圖的目錄放的復(fù)雜點(diǎn)，名字生僻點(diǎn)。我們也沒有必要擔(dān)心，搜索引擎抓取不到，像主流點(diǎn)搜索引擎的站長(zhǎng)后臺(tái)都是可以直接提交sitemap地址，這樣一來對(duì)外可以有保密效果，同時(shí)不影響搜索引擎的抓取。