爬虫robots,robots协议怎么写?网站的robots协议在哪里查看

新闻 2023-03-14编辑：深圳网站建设阅读（）标签： 爬虫 robots 404 301

• 爬虫robots
• 网站的robots协议在哪里看
• robots.txt文件的写法
• Robots协议中的其它语法属性

全文介绍什么是爬虫robots，robots协议怎么写，网站的robots协议在哪里查看，robots协议的具体内容，及robots示例解说，Robots协议中的其它语法属性

50元付费解决Robots.txt  看完本文本还不知道Robots.txt怎么写．50元专人帮你解决

爬虫robots

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

网站的robots协议在哪里看

robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

用几个最常见的情况，直接举例说明：

robots.txt文件的写法

User-agent：指定对哪些爬虫生效
Disallow：指定要屏蔽的网址
Allow：允许爬行的网址

例：禁止谷歌收录本站，
User-agent: Googlebot
Disallow:

例：禁止所有收录本站：
User-agent: *
Disallow: /

例：允许所有蜘蛛爬行所有．除了后台
User-agent: *
sitemap: http://www.ew35.com/sitemap.html
Disallow: /admin/

例：允许所有蜘蛛爬行所有
直接为空

Robots协议中的其它语法属性

User-agent: 这里的代表的所有的搜索引擎种类，*是一个通配符。

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录。

Disallow: /mahaixiang/*.htm 禁止访问/mahaixiang/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /? 禁止访问网站中所有包含问号 (?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

Disallow:/mahaixiang/abc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /mahaixiang/　这里定义是允许爬寻mahaixiang目录下面的目录。

Allow: /mahaixiang 这里定义是允许爬寻mahaixiang的整个目录。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片。

Sitemap: /sitemap.html 告诉爬虫这个页面是网站地图。

• 上一章：头条号如何赚钱 头条号如何获得收益
• 下一章：企业网站设计如果通过图标提升高级感呢...