WordPress_user_agent_Robot
WordPress排除機器人
你可能會天真認為瀏覽你網站㑟人,但其實很大一部分(可能一半以上)流量都是網絡機器人造成,我更喜歡叫它做網絡蜘蛛,其實我以前用C寫過網絡蜘蛛.如果有清晰目標我還是希望將其實用化.
無論是瀏覽器還是網絡蜘蛛它都有使用user-agent,它是HTTP協議中為表明客戶端的身分而設,你可以通過增加user-agent列表來排除網絡蜘蛛.這樣你就可以知到你網站真實的瀏覽量是幾多.
人的瀏覽是真實的流量,而蜘蛛瀏覽的流量是點樣呢?如果你寫過HTML分析器,你就五會去分析Java script代碼.因為它語法分析唔容易寫.就算給你寫好,它只會浪費大量CPU時間.而你想要HTML文本正等這你,所以就連Google也唔回去掂Java script.
你可以在Wordpress的wp-statistics设置user-agent列表
下麵是常見的個大廠家網絡蜘蛛
user-agent: |
簡介: |
Googlebot |
Google文本蜘蛛,抓取網頁中的文本內容 |
Googlebot-Mobile |
Google文本蜘蛛,抓取移動網頁文本內容 |
Googlebot-Image |
Google圖片蜘蛛 |
Google-AMPHTML |
|
Mediapartners-Google |
Google文本蜘蛛,Google Adsense 專屬蜘蛛,用於分析關鍵詞, 只有投放了Google Adsense網頁才會吸引它前來. |
Adsbot-Google |
Google文本蜘蛛,Google AdWords專屬蜘蛛, 衡量網頁的質量,只有在Google AdWords投放廣告網頁才會吸引它拜訪. |
Feedfetcher-Google |
如果用戶在Google閱讀器訂閱了你RSS.
Google Feedfetcher文本蜘蛛,就會定時定後依RSS中的URL拜訪 |
Yahoo! Slurp China |
雅虎中國蜘蛛 |
Yahoo! Slurp |
雅虎英文蜘蛛 |
YahooFeedSeeker |
雅虎RSS蜘蛛 |
Yahoo Image |
雅虎圖片蜘蛛 |
Yahoo AD |
雅虎廣告專用蜘蛛 |
Yahoo Blogs |
雅虎博客蜘蛛 |
Yahoo ContentMatch Crawler |
雅虎搜索競價蜘蛛 |
Yahoo-MMCrawler |
雅虎圖片蜘蛛 |
Baiduspider |
百度文本搜索蜘蛛 |
Baiduspider-image |
百度圖片搜索蜘蛛 |
Baiduspider-mobile |
百度文本搜索蜘蛛,移動網頁 |
Baiduspider-mobile-gate |
百度文本搜索蜘蛛,移動網頁 |
Baiduspider-video |
百度影片搜索蜘蛛 |
Baiduspider-new |
百度新聞搜索蜘蛛 |
Baiduspider-thumbnail |
百度快照蜘蛛 |
Baiduspider-Transcoder |
百度人工審查蜘蛛 |
Baiduspider-favo |
百度搜藏 |
Baiduspider-cpro |
百度聯盟專屬蜘蛛,只有網站加入百度聯盟,才會吸引它來. |
Baiduspider-sfkr |
百度競價排名的網頁的專屬蜘蛛,只有網站加入競價或營銷,才會吸引它來. |
MSNBot: |
MSN文本搜索蜘蛛 |
MSNBot-Media |
MSN圖片與多媒體搜索蜘蛛 |
MSNBot-NewsBlogs |
MSN的新聞與博客搜索蜘蛛 |
MSNBot-Products |
MSN的產品及購物搜索蜘蛛 |
MSNBot-Academic |
MSN的學術搜索蜘蛛 |
bingbot |
必應蜘蛛 |
iaskspider |
新浪愛問 |
360Spider |
360搜索蜘蛛 |
Sosospider |
搜搜文本蜘蛛 |
Sosoimagespider |
搜搜圖片蜘蛛 |
Sosoblogspider |
搜搜博客蜘蛛 |
sogou spider |
搜狗蜘蛛 |
Sogou Push spider |
|
Sogou Orion spider |
|
Sogou Web spider |
|
Sogou Test spider |
|
YodaoBot |
有道文本蜘蛛 |
YodaoBot Image |
有道圖片蜘蛛 |
YodaoBot Reader |
有道RSS蜘蛛 |
BSpider |
|
ia_archiver |
Alexa網站排名蜘蛛 |
iaarchiver |
Alexa網站排名蜘蛛 |
YisouSpider |
一搜蜘蛛 |
EasouSpider |
宜sou蜘蛛 |
JikeSpider |
即刻蜘蛛 |
EtaoSpider |
一淘網蜘蛛 |
設置user-agent只能防君子不能防小人,大量群發機械人(這裏使用機械人與搜索蜘蛛區分來), 更改user-agent只是平常事.
還有一個方法是在Wordpress的wp-statistics設置Robot visit threshold:只要當日超過一定數值就可以視為是機械人,設為6是比較合適的,設為0則關閉這個工能.
你必須登入才能發表留言。