WordPress_user_agent_Robot
WordPress排除機器人
你可能會天真認為瀏覽你網站㑟人,但其實很大一部分(可能一半以上)流量都是網絡機器人造成,我更喜歡叫它做網絡蜘蛛,其實我以前用C寫過網絡蜘蛛.如果有清晰目標我還是希望將其實用化.
無論是瀏覽器還是網絡蜘蛛它都有使用user-agent,它是HTTP協議中為表明客戶端的身分而設,你可以通過增加user-agent列表來排除網絡蜘蛛.這樣你就可以知到你網站真實的瀏覽量是幾多.
人的瀏覽是真實的流量,而蜘蛛瀏覽的流量是點樣呢?如果你寫過HTML分析器,你就五會去分析Java script代碼.因為它語法分析唔容易寫.就算給你寫好,它只會浪費大量CPU時間.而你想要HTML文本正等這你,所以就連Google也唔回去掂Java script.
你可以在Wordpress的wp-statistics设置user-agent列表
下麵是常見的個大廠家網絡蜘蛛
| user-agent: | 簡介: |
| Googlebot | Google文本蜘蛛,抓取網頁中的文本內容 |
| Googlebot-Mobile | Google文本蜘蛛,抓取移動網頁文本內容 |
| Googlebot-Image | Google圖片蜘蛛 |
| Google-AMPHTML | |
| Mediapartners-Google | Google文本蜘蛛,Google Adsense 專屬蜘蛛,用於分析關鍵詞, 只有投放了Google Adsense網頁才會吸引它前來. |
| Adsbot-Google | Google文本蜘蛛,Google AdWords專屬蜘蛛, 衡量網頁的質量,只有在Google AdWords投放廣告網頁才會吸引它拜訪. |
| Feedfetcher-Google | 如果用戶在Google閱讀器訂閱了你RSS.
Google Feedfetcher文本蜘蛛,就會定時定後依RSS中的URL拜訪 |
| Yahoo! Slurp China | 雅虎中國蜘蛛 |
| Yahoo! Slurp | 雅虎英文蜘蛛 |
| YahooFeedSeeker | 雅虎RSS蜘蛛 |
| Yahoo Image | 雅虎圖片蜘蛛 |
| Yahoo AD | 雅虎廣告專用蜘蛛 |
| Yahoo Blogs | 雅虎博客蜘蛛 |
| Yahoo ContentMatch Crawler | 雅虎搜索競價蜘蛛 |
| Yahoo-MMCrawler | 雅虎圖片蜘蛛 |
| Baiduspider | 百度文本搜索蜘蛛 |
| Baiduspider-image | 百度圖片搜索蜘蛛 |
| Baiduspider-mobile | 百度文本搜索蜘蛛,移動網頁 |
| Baiduspider-mobile-gate | 百度文本搜索蜘蛛,移動網頁 |
| Baiduspider-video | 百度影片搜索蜘蛛 |
| Baiduspider-new | 百度新聞搜索蜘蛛 |
| Baiduspider-thumbnail | 百度快照蜘蛛 |
| Baiduspider-Transcoder | 百度人工審查蜘蛛 |
| Baiduspider-favo | 百度搜藏 |
| Baiduspider-cpro | 百度聯盟專屬蜘蛛,只有網站加入百度聯盟,才會吸引它來. |
| Baiduspider-sfkr | 百度競價排名的網頁的專屬蜘蛛,只有網站加入競價或營銷,才會吸引它來. |
| MSNBot： | MSN文本搜索蜘蛛 |
| MSNBot-Media | MSN圖片與多媒體搜索蜘蛛 |
| MSNBot-NewsBlogs | MSN的新聞與博客搜索蜘蛛 |
| MSNBot-Products | MSN的產品及購物搜索蜘蛛 |
| MSNBot-Academic | MSN的學術搜索蜘蛛 |
| bingbot | 必應蜘蛛 |
| iaskspider | 新浪愛問 |
| 360Spider | 360搜索蜘蛛 |
| Sosospider | 搜搜文本蜘蛛 |
| Sosoimagespider | 搜搜圖片蜘蛛 |
| Sosoblogspider | 搜搜博客蜘蛛 |
| sogou spider | 搜狗蜘蛛 |
| Sogou Push spider | |
| Sogou Orion spider | |
| Sogou Web spider | |
| Sogou Test spider | |
| YodaoBot | 有道文本蜘蛛 |
| YodaoBot Image | 有道圖片蜘蛛 |
| YodaoBot Reader | 有道RSS蜘蛛 |
| BSpider | |
| ia_archiver | Alexa網站排名蜘蛛 |
| iaarchiver | Alexa網站排名蜘蛛 |
| YisouSpider | 一搜蜘蛛 |
| EasouSpider | 宜sou蜘蛛 |
| JikeSpider | 即刻蜘蛛 |
| EtaoSpider | 一淘網蜘蛛 |
設置user-agent只能防君子不能防小人,大量群發機械人(這裏使用機械人與搜索蜘蛛區分來), 更改user-agent只是平常事.
還有一個方法是在Wordpress的wp-statistics設置Robot visit threshold:只要當日超過一定數值就可以視為是機械人,設為6是比較合適的,設為0則關閉這個工能.