User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
開發(fā)一款相親交友小程序
目前的相親交友平臺都不少，但是基于實名制，真實的實現(xiàn)線下交流，舉辦活動的，快速實現(xiàn)精準(zhǔn)的平臺確實很少，該相親交友平臺就是以信息真實，繳納保證金快速獲得心儀對象的匹配模式...
-
跟單系統(tǒng)APP軟件開發(fā)
對于想進入外貿(mào)電商行業(yè)的企業(yè)來說，開發(fā)一個外貿(mào)訂單管理系統(tǒng)平臺就能打通國外的市場，實現(xiàn)渠道市場擴大化。開發(fā)一個外貿(mào)跟單系統(tǒng)軟件就算是有了一個投放產(chǎn)品的地方，利用自...
-
付費閱讀醫(yī)藥小程序開發(fā)
產(chǎn)品詳細功能介紹開發(fā) 付費閱讀是通過手機APP中購買閱讀的權(quán)限電子讀物，把傳統(tǒng)的自媒體通過電子書付費的形式轉(zhuǎn)移在了移動的APP上進行閱讀，方便人們獲取知識，也有助于...
-
全網(wǎng)營銷推廣如何做
對于全網(wǎng)營銷推廣，很多人還是不太了解，以為做了百度競價推廣，做了網(wǎng)站SEO優(yōu)化就是全網(wǎng)推廣，其實，這只是全網(wǎng)推廣的某一個方面，真正的全網(wǎng)推廣是運用全網(wǎng)營銷方式給企業(yè)來推廣...
-
農(nóng)業(yè)大數(shù)據(jù)采集終端APP功能軟件開發(fā)
開發(fā)一款智能農(nóng)業(yè)大數(shù)據(jù)采集APP軟件，需要了解的就是關(guān)于農(nóng)業(yè)app軟件詳情費用工期模式制度，相關(guān)軟件開發(fā)需求還需要專業(yè)的定制解決方案，客戶覺得價格合理才能開發(fā)。 開發(fā)...
