我们做搜索引擎优化就是想办法让搜索引擎抓取和输入，但很多时候我们也需要停止搜索引擎抓取和输入。比如，公司内部测试网站，也许是内网，也可能是后台登录页面，一定不能指望被外界人发现，所以要停止搜索引擎抓取。
 

    我们做了一个停止对搜索引擎抓取网站找到成绩截图：我们可以看到，描绘了不爬，但有一个提示：因为网站robost文件（限制搜索引擎抓取），内容系统的约束命令不能提供的绘图页。

    找机器人新推广后机器人会优化网站视频URL抓取状态，只有当你的网站包含了预计不会被视频查找引擎输入的内容时，只需要使用robost文件，如果你期望搜索引擎输入网站上的所有内容，就不要树robost文件。

    如果您的网站没有设置机器人协议，找到视频的网址进入该网站将包括在视频播放页面的URL信息和文本周围视频的网页文件，如视频，寻找资源以短视频的用户将出现进入视频页面的速度体验另外，电影和电视艺术长视频，唯一的搜索引擎入口页面URL。

本文链接地址： 如何屏蔽网站隐秘内容http://www.021hy.net/xwzx/gsxw/202001181670.html