各大引擎的robottxt具體分析

《各大引擎的robottxt具體分析》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、代表禁止所有的支持robots.txt文件的搜索引擎訪問(wèn)：User-agent:*Disallow:/查看robots.txt規(guī)則的地址：http://www.robotstxt.org1.baiduSpider資料參考頁(yè)面：http://www.baidu.com/search/spider.htmrobots.txt書(shū)寫(xiě)規(guī)范參考地址：http://www.baidu.com/search/robots.html百度各個(gè)產(chǎn)品使用不同的user-agent：產(chǎn)品名稱(chēng)對(duì)應(yīng)user-agent無(wú)線搜索Baiduspider圖片搜索Baiduspider

2、-image視頻搜索Baiduspider-video新聞搜索Baiduspider-news百度搜藏Baiduspider-favo百度聯(lián)盟Baiduspider-cpro商務(wù)搜索Baiduspider-ads網(wǎng)頁(yè)以及其他搜索Baiduspider如果分析服務(wù)器日志中發(fā)現(xiàn)如下代碼，則為baiduSpider爬行抓?。?host123.125.66.120120.66.125.123.in-addr.arpadomainnamepointerbaiduspider-123-125-66-120.crawl.baidu.com.host119.63.

3、195.254254.195.63.119.in-addr.arpadomainnamepointerBaiduMobaider-119-63-195-254.crawl.baidu.jp.百度投訴平臺(tái)：http://tousu.baidu.com/webmaster/add/#22.GoogleSpider3.YahooSpider4.SosoSpider參考頁(yè)面：http://help.soso.com/webspider.htm查看服務(wù)器日志是分析發(fā)現(xiàn)：Sosospider+(+http://help.soso.com/webspider.h

4、tm，則表明 SosoSpider有來(lái)爬行..Soso的訪問(wèn)策略：對(duì)于您網(wǎng)站上新產(chǎn)生的鏈接或者持續(xù)更新的頁(yè)面，sosospider會(huì)持續(xù)抓取。在首 次抓取后，sosospider會(huì)在一定時(shí)間后（通常是幾天至一個(gè)月間）再次訪問(wèn)以查看該頁(yè)面是否有更 新。信息反饋地址郵箱：sosospider@tencent.com5.SogouSpider參考頁(yè)面：http://help.sogou.com/spider.html搜狗喜歡收錄的頁(yè)面：A.內(nèi)容優(yōu)良而獨(dú)特的頁(yè)面，如果您的頁(yè)面內(nèi)容和互聯(lián)網(wǎng)上已存在的其他頁(yè)面有高度的相似性 ，可能不會(huì)被sogouspider收

5、錄。B.鏈接層次較淺的頁(yè)面，過(guò)深的鏈接層次，尤其是動(dòng)態(tài)網(wǎng)頁(yè)的鏈接，會(huì)被丟棄而不收錄。C.如果是動(dòng)態(tài)網(wǎng)頁(yè)，請(qǐng)控制一下參數(shù)的數(shù)量和URL的長(zhǎng)度。搜狗更偏好收錄靜態(tài)網(wǎng)頁(yè)。D.重定向次數(shù)越多的頁(yè)面，越有可能被sogouspider丟棄。投訴抓取過(guò)快：http://www.sogou.com/complain/complaint.php?type=4申訴：http://www.sogou.com/complain/complaint.php?type=5小說(shuō)網(wǎng):http://www.kanshu.com/小說(shuō)閱讀網(wǎng)http://www.kanshu.com/

6、免費(fèi)小說(shuō)閱讀網(wǎng)http://www.kanshu.com/免費(fèi)看書(shū)網(wǎng)http://www.kanshu.com/免費(fèi)看小說(shuō)網(wǎng)http://www.kanshu.com/言情小說(shuō)http://www.kanshu.com/好看的小說(shuō)http://www.kanshu.com/穿越小說(shuō)http://www.kanshu.com/玄幻小說(shuō)http://www.kanshu.com/玄幻小說(shuō)網(wǎng)http://www.kanshu.com/看書(shū)網(wǎng)：http://www.kanshu.com都市小說(shuō)：http://dushi.kanshu.com歷史小說(shuō)：htt

7、p://lishi.kanshu.com玄幻小說(shuō)：http://xuanhuan.kanshu.com偵探小說(shuō)：http://zhentan.kanshu.com網(wǎng)游小說(shuō)：Http://wangyou.kanshu.com言情小說(shuō)：http://mm.kanshu.com科幻小說(shuō)：http://kehuan.kanshu.com全本小說(shuō)：http://quanben.kanshu.com武俠小說(shuō)：http://wuxia.kanshu.com小說(shuō)排行榜：http://top.kanshu.com