24
𝐗24-Robots协议
1-定义：
Robots协议是用来放行或者禁止搜索引起爬行索引网站内容的权限。
2-作用：
A-对于网站某些没有必要对外公开的页面，起到一定的保护作用。
B-有助于投稿搜索引擎爬行的效率和友好度
3-如何制作Robots协议：
A-通过工具来自动生成（插件或者应用），生成后，上传到站点的根目录保存就能生效
https://tool.chinaz.com/robots/
B-有的建站程序会自动生成Robots协议
C-手动撰写Robots协议（需要对Robots协议写作规范要了解）
4-Robots协议需要注意的事项：
A-网站如果没有设置Robots协议，意味着站点对所有的搜索引擎开发，且站点所有页面都对搜索引擎开放
B-Robots协议里面的代码首字母必须大写，且不能有空格，否则不会生效
===============================
附件：Robots.txt说明文档
一、什么是robots.txt文件?
搜索引擎通过一种程序robot(又称spider)，自己主动訪问互联网上的网页并获取网页信息。您能够在您的站点中创建一个纯文本文件robots.txt，在这个文件里声明该站点中不想被robot訪问的部分，这样，该站点的部分或所有内容就能够不被搜索引擎收录了，或者指定搜索引擎仅仅收录指定的内容。
二、robots.txt文件放在哪里?
robots.txt文件应该放在站点根文件夹下。举例来说，当robots訪问一个站点(比方http://www.abc.com)时，首先会检查该站点中是否存在http://www.abc.com/robots.txt这个文件，假设机器人找到这个文件，它就会依据这个文件的内容，来确定它訪问权限的范围。
站点 URL 对应的 robots.txt的 URL
http://www.w3.org/
http://www.w3.org/robots.txt
http://www.w3.org:80/
http://www.w3.org:80/robots.txt
http://www.w3.org:1234/
http://www.w3.org:1234/robots.txt
http://w3.org/
http://w3.org/robots.txt
三、robots.txt文件的格式
“robots.txt”文件包括一条或很多其它的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式例如以下所看到的：”:”。
在该文件里能够使用#进行注解，具体用法和UNIX中的惯例一样。该文件里的记录通常以一行或多行User-agent開始，后面加上若干Disallow行,具体情况例如以下：
User-agent:
该项的值用于描写叙述搜索引擎robot的名字，在”robots.txt”文件里，假设有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。假设该项的值设为*，则该协议对不论什么机器人均有效，在”robots.txt”文件里，”User-agent：*”这种记录仅仅能有一条。
Disallow :
该项的值用于描写叙述不希望被訪问到的一个URL，这个URL能够是一条完整的路径，也能够是部分的，不论什么以Disallow开头的URL均不会被robot訪问到。比如”Disallow: /help”对/help.html和/help/index.html都不同意搜索引擎訪问，而”Disallow:/help/”则同意robot訪问/help.html，而不能訪问/help/index.html。不论什么一条Disallow记录为空，说明该站点的全部部分都同意被訪问，在”/robots.txt”文件里，至少要有一Disallow记录。假设”/robots.txt”是一个空文件，则对于全部的搜索引擎robot，该站点都是开放的。
四、robots.txt文件使用方法举例
例1. 禁止全部搜索引擎訪问站点的不论什么部分
下载该robots.txt文件 User-agent: *
Disallow: /
例2. 同意全部的robot訪问
(或者也能够建一个空文件 “/robots.txt” file)
User-agent: *
Disallow:
例3. 禁止某个搜索引擎的訪问
User-agent: BadBot
Disallow: /
例4. 同意某个搜索引擎的訪问
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5. 一个简单样例
在这个样例中，该站点有三个文件夹对搜索引擎的訪问做了限制，即搜索引擎不会訪问这三个文件夹。
须要注意的是对每个文件夹必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的* 具有特殊的含义，代表”any robot”，所以在该文件里不能有”Disallow:
/tmp/*” or “Disallow: *.gif”这种记录出现.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /——joe/
五、robots.txt文件參考资料
robots.txt文件的更详细设置,请參看下面资料：
· Web Server Administrator’s Guide to the Robots Exclusion Protocol
· HTML Author’s Guide to the Robots Exclusion Protocol
· The original 1994 protocol description, as currently deployed
· The revised Internet-Draft specification, which is not yet completed or implemented