> seo心得 > seo推广技术:robots.tex文件的写法

seo推广技术:robots.tex文件的写法

2020-08-07 07:14


最近很多宁德seo的朋友问我网站如果要禁止蜘蛛抓取部分栏目信息的时候,那么在网站里,robots应该怎么写?
 
robots

 
robots.txt文件常用写法示例
 
  robots.txt文件用法举例:
 

  1. 允许所有的robot访问

 
  User-agent: * Allow: / 或者 User-agent: * Disallow:
 

  2. 禁止所有搜索引擎访问网站的任何部分

 
  User-agent: *
 
  Disallow: /
 

  3. 仅禁止Baiduspider访问您的网站

 
  User-agent: Baiduspider
 
  Disallow: /
 

  4. 仅允许Baiduspider访问您的网站

 
  User-agent: Baiduspider
 
  Disallow:
 

  5. 禁止spider访问特定目录

 
  User-agent: *
 
  Disallow: /cgi-bin/
 
  Disallow: /tmp/
 
  Disallow: /~joe/
 

  6. 允许访问特定目录中的部分url

 
  User-agent: *
 
  Allow: /cgi-bin/see
 
  Allow: /tmp/hi
 
  Allow: /~joe/look
 
  Disallow: /cgi-bin/
 
  Disallow: /tmp/
 
  Disallow: /~joe/
 

  7. 使用”*”限制访问url

 
  禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
 
  User-agent: *
 
  Disallow: /cgi-bin/*.htm
 

  8. 使用”$”限制访问url

 
  仅允许访问以”.htm”为后缀的URL。
 
  User-agent: *
 
  Allow: .htm$
 
  Disallow: /
 

  例9. 禁止访问网站中所有的动态页面

 
  User-agent: *
 
  Disallow: /*?*
 

  10. 禁止Baiduspider抓取网站上所有图片

 
  仅允许抓取网页,禁止抓取任何图片。
 
  User-agent: Baiduspider
 
  Disallow: .jpg$
 
  Disallow: .jpeg$
 
  Disallow: .gif$
 
  Disallow: .png$
 
  Disallow: .bmp$
 

  11. 仅允许Baiduspider抓取网页和.gif格式图片

 
  允许抓取网页和gif格式图片,不允许抓取其他格式图片
 
  User-agent: Baiduspider
 
  Allow: .gif$
 
  Disallow: .jpg$
 
  Disallow: .jpeg$
 
  Disallow: .png$
 
  Disallow: .bmp$
 

  12. 仅禁止Baiduspider抓取.jpg格式图片

 
  User-agent: Baiduspider
 
  Disallow: .jpg$