真假蜘蛛ip識別

　　作為一個合格的SEO不僅僅是一個內容優化的高手，技術層面也是需要一兩把刷子的。就比如如何分別真假搜索引擎蜘蛛就是一個比較重要也是比較實用的技能。

　　相信大家都會去管不住網站的抓取頻次，但是大多數人還是只是從站長后臺去看給到的一個抓取頻次。但是其實這個數據不是很穩定，而且這個工具經常出問題，對于抓取頻次比較的網站，可能都看不到這一個模塊的數據，并且對于搜索引擎抓取了哪些頁面這是這個工具無法看到的。

　　因此，對于日常的SEO優化來說學會如何的通過網站日志去查看日志，對于網站日志的分析還是比較復雜，之后再去具體的探討。今天主要是講真假蜘蛛ip的識別方法，不管是搜索引擎的蜘蛛，還是假蜘蛛，其實都是網絡爬蟲。原理上是一樣的，只是用途不一樣，我們把冒充搜索引的蜘蛛稱為假蜘蛛。

為什么有假蜘蛛

這類假蜘蛛的目的，主要就是為了爬取網站的內容，然后為己所用。簡單的說就是抄襲轉載網頁內容，只是把傳統的手動方式改成了程序的自動處理。對于這類假蜘蛛它會把自己爬蟲的user-agent偽裝成和百度一樣的，為了就是不被站長們發現屏蔽，達到長期的潛伏著爬取內容。

　　對于SEO來說內容的稀缺性很重要，如果自己的原創內容被多處抄襲轉載，更甚至抄襲者比你先收錄，那么對于自己的站點優化是非常的不利的。

如何識別真假蜘蛛

其實發現真假蜘蛛很簡單，首先我們需要了解各大搜索引擎蜘蛛名稱（關注公眾號回復“爬蟲名大全”獲取），比如百度蜘蛛為“baiduspider”。我們就在當天的網站日志中搜索這個關鍵字，找出有多少條結果。然后對比站長工具中的抓取頻次，如果兩者的數據差異很大，這個時候我們就需要進一步的去排查了，抓取次數相差很大絕對是由假蜘蛛。

　　然后我們就要去鎖定哪些ip是有異常的，一般來說搜索引擎的蜘蛛不會集中在一個時間段去抓取內容，因此為了更好的及時發展新內容，抓取的時間段是會比較分散的。如果某一個ip會集中的大量抓取頁面，那么我們就要重點排查這個IP了。

　　這種方法操作起來還是比較復雜的，對于日志比較大的網站就不會合適了。更加科學的方法是，寫一個程序列出以各個搜索引擎user-agent名稱請求的ip，同時需要取到每個ip的訪問次數，這樣一方面我們可以結合搜索引擎公布的ip段，以及我們能自己排查確認的搜索引擎ip，一排除就可以非常容易的找出有問題的IP。

　　最后一步就是屏蔽有問題的ip，畢竟于搜索引擎抓取有關，這類ip的封禁我們需要更加的嚴謹，對于ip需要做一個檢驗，這個也是非常簡單的，使用電腦的cmd中的nslookup命令就可以實現，真假蜘蛛ip的鑒別。

　　

　　日志大家一定記得按日分割，這邊隨便拿一個百度蜘蛛的ip做一個演示

　　

　　習慣用powershell了，用cmd也是一樣的沒區別的，可以看出如果ip是真的屬于搜索引的ip，通過nslookup命令是可以反查到ip對應解析到的域名，這個是絕對可靠的，只要解析的域名是對應搜索引擎的，那就沒有問題，如果是假蜘蛛，那么要么是出現解析的域名不對，或這個就是直接超時。

　　今天講到的這個需要完全的自動化實現還是存在一定的技術難度的，高度依賴于對日志文件進行操作ip的分離，有興趣的小伙伴可以公眾號，后續會出教程。