大家在做网站优化一般都是在想方设法的让搜索引擎抓取和录入，其实许多情况下我们是需要制止搜索引擎抓取和录入的。比方，内部测试的网站，或许内部网，或许后台登录的页面，必定不想被外面的人查找到，所以要制止搜索引擎来抓取。

　　我们在禁止搜索引擎抓取的网站快照中能够看到，描绘没有被抓取到，而是有一句提示：因为该网站的robotstxt文件存在约束指令（约束搜索引擎抓取），引擎端无法供给该页面的内容描绘。

 

　　Robots是站点与spider交流的重要途径，站点经过robots文件声明本网站中不想被搜索引擎录入的部分或许指定搜索引擎只录入特定的部分。

 

　　查找robots在更新新算法后，robots将优化对网站视频URL录入抓取情况，仅当您的网站不想被视频搜索引擎录入的内容时，才需求运用到robotstxt文件，如果您期望搜索引擎录入网站上一切内容，请勿树立robotstxt文件。

 

　　如您的网站未设置robots协议，查找对网站视频URL的录入将包括视频播放页URL,及页面中的视频文件视频周边文本等信息，查找对已录入的短视频资源将对用户出现为视频极速体会页此外，综艺影视类长视频，搜索引擎仅录入页面URL.