Robots.txt文件在線生成

默認 -  所有:  
爬蟲-延遲時間:
網站地圖: (可以不填寫)
     
主流搜索引擎: Google(谷歌)   googlebot
  Baidu(百度)   baiduspider
  Sogou(搜狗)   sogou spider
  YouDao(有道)   YodaoBot
  MSN Search   msnbot
  Yahoo   yahoo-slurp
  Ask/Teoma   teoma
  Cuil   twiceler
  GigaBlast   gigabot
  Scrub The Web   scrubby
  DMOZ Checker   robozilla
  Nutch   nutch
  Alexa/Wayback   ia_archiver
  Naver   naverbot, yeti
   
其他搜索引擎: Google Image   googlebot-image
  Google Mobile   googlebot-mobile
  Yahoo MM   yahoo-mmcrawler
  MSN PicSearch   psbot
  SingingFish   asterias
  Yahoo Blogs   yahoo-blogs/v3.9
   
限制目錄 該路徑是相對于根目錄以 "/"結尾
 
 
 
 
 
 
 
 
 
 
   

現在,在桌面新建一個記事本,將上面代碼復制進去并保存為“robots.txt”,然后上傳你網站的根目錄。請注意文件的權限設置,確保可以訪問,一般默認設置就可以了。

robots.txt文件是有什么作用?

robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。

它可以指定搜索引擎蜘蛛只抓取指定的內容,或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。

robots.txt文件訪問與提交方法

例如:如果您的網站地址是 http://www.rqkqdq.live/那么,該文件必須能夠通過 http://www.rqkqdq.live/robots.txt 打開并看到里面的內容,然后登陸百度站長平臺,在后臺可以提交該地址。

robots.txt文件的格式

User-agent:

表示用來描述搜索引擎蜘蛛的名字,在" robots.txt "文件中,如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該 項的值設為*,則該協議對任何搜索引擎蜘蛛均有效,在" robots.txt "文件中,"User-agent:*"這樣的記錄只能有一條。

Disallow:

用于描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow開頭的URL均不會被Robot訪問到。

舉例:

例一:"Disallow:/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。

例二:"Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

例三:Disallow記錄為空說明該網站的所有頁面都允許被搜索引擎抓取,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件,則對于所有的搜索引擎蜘蛛,該網站都是開放的可以被抓取的。

#:robots.txt 協議中的注釋符。

綜合例子:

例一:通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄,以及 "/tmp/"目錄和 /foo.html 文件,設置方法如下:

User-agent: *

Disallow: /bin/cgi/

Disallow: /tmp/

Disallow: /foo.html

例二:通過"/robots.txt"只允許某個搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允許名為"slurp"的搜索引擎蜘蛛抓取,而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容,設置方法如下:

User-agent: *

Disallow: /cgi/

User-agent: slurp

Disallow:

例三:禁止任何搜索引擎抓取我的網站,設置方法如下:

User-agent: *

Disallow: /

例四:只禁止某個搜索引擎抓取我的網站如:只禁止名為"slurp"的搜索引擎蜘蛛抓取,設置方法如下:

User-agent: slurp

Disallow: /

千斤顶或更好100手返水 钱龙捕鱼如何下载 北京麻将馆在线玩 五体球到底是个什么球 吉林快3专家预测 极速11选5怎么赢 6场半全场中奖条件 浙江快乐12预测 pk10赛车冠军永无规律 真人龙虎斗怎么玩 腾讯广东麻将v1.5.0 4场进球彩对阵球队 北京时时彩人工计划 p3开机号3d开机号千禧 上海天天彩选四开奖 极速快3猜大小 华夏宏图商队如何赚钱