什么是抓取异常？

    

    对于可在互联网上正常访问的内容，蜘蛛的结果应与普通用户访问的结果一致。在其他情况下，异常被抓取。

    

    有哪些内容会被抓取异常：

    

    1.什么是死链？有关详细信息，请参阅：网站死链接（称为:无效链接）

    

    该页面不再有效，并且无法向用户提供任何有价值信息的页面是一个死链接，包括协议死链和内容死链。

    

    协议死链接：页面的TCP协议状态/HTTP协议状态清楚地表明死链，例如404,403,503状态。

    

    内容死链：服务器返回状态正常，但内容已更改为与原始内容无关的不存在，已删除或必需的信息页面。

    

    对于死链，建议通过网站管理平台 - 死链工具处理死链，以便搜索引擎能够更快地找到死链并减少死链对用户的负面影响。搜索引擎。

    

    2.什么是知识产权禁令？

    

    限制网络的出口IP地址并禁止IP段的用户访问内容是IP禁止。

    

    3. UA禁令是什么？

    

    UA是用户代理，服务器通过UA识别访客的身份。当网站返回到例外页面（例如403,500）或跳转到其他页面以访问指定的UA时，禁止使用UA。

    

    3.什么是异常重定向？

    

    将网络请求重定向到另一个位置是重定向。异常重定向是指以下情况

    

    目前，页面是无效页面（内容已被删除，死链等），并直接跳转到上一个目录或主页。建议网站管理员删除无效页面的条目超链接。

    

    重定向到错误或无效页面

    

    重定向跳转超过3次，也异常

    

    注意：对于长期跳转到其他域名，例如网站替换域名，建议使用301跳转协议进行设置。

    

    4.还有哪些其他例外？

    

    异常参考：网页返回与普通内容不同的行为，供推荐。

    

    ua的异常：网页返回的行为与UA页面的原始内容不同。

    

    JS跳转异常：网页加载无法识别的JS跳转代码，以便用户在通过搜索结果进入页面后跳转。

    

    超压造成的意外禁令：会根据网站规模，访问量等信息自动设置合理的抓压力。然而，在异常情况下，例如当压力控制异常时，服务器将根据其自身负载执行保护性意外禁止。在这种情况下，请在返回码中返回503（表示“服务不可用”），这样蜘蛛会在一段时间后尝试抓取链接，如果网站空闲，则会成功抓取。在网站上抓取异常有什么影响？

    

    对于无法被大量内容抓取的网站，搜索引擎会认为该网站存在用户体验缺陷并降低对网站的评估。爬行，索引和加权将在一定程度上受到负面影响，最终影响网站。获得流量。