蜘蛛抓取异常都有哪些问题?
发布时间:2021-03-28    点击数:35

  

  搜索引擎蜘蛛是优化器在网站优化中必须考虑的问题。具有高质量页面内容的用户也可以正常访问,但是他们在查看蜘蛛日志后看不到蜘蛛访问。在这种情况下,爬网是异常的。对于这种情况,网站出现了一定问题。以下是蜘蛛爬网异常中的问题的简要介绍。

  爬虫无法成功爬网

  服务器链接异常。有两种情况:一种是网站不稳定,而baiduspider尝试暂时链接到您网站的服务器。无法链接:另一个是baiduspider无法链接到您网站的服务器。

  服务器链接异常的原因通常是您的Web服务器太大且过载。也可能是您的网站无法正常运行。请检查网站的Web服务器是否已安装并正常运行,并使用浏览器检查是否可以正常访问主页。您的网站和主机也可能会限制空间或购买CDN服务。

  异常

  当baiduspider无法解析您的网站IP时,将发生DNS异常。可能是您网站的IP地址错误,或者域名服务提供商已阻止baiduspider。请使用WHOIS或主机检查您网站的IP地址是否正确且可解析。如果不正确或无法解决,请联系域名注册商更新您的IP地址。

  禁令

  禁令是:限制网络的出口IP地址,禁止该IP网段的用户访问内容,这里专门指禁止baiduspiderIP。仅当您的网站不希望baiduspider访问时才需要此设置。如果您想要baiduspiderIP。您网站所在的空间服务提供商也可能已禁用百度IP,那么您需要与服务提供商联系以更改设置。

  常见的蜘蛛陷阱是什么?

  一些网站使用SessionID来跟踪用户的问题。当每个用户访问网站时,都会生成一个唯一的SessionID并将其添加到URL。搜索引擎蜘蛛的每次访问也将被视为新用户,并且会将不同的SessionID添加到URL中进行搜索搜索引擎蜘蛛每次访问时获得的同一页面的URL都会不同,并且其后面的不同SessionID也是蜘蛛陷阱。

  各种跳转

  除了301重定向外,搜索引擎对其他形式的跳转更为敏感,例如:302跳转,JavaScript跳转,Flash跳转,MetaRefresh跳转。一些网站用户在访问首页时会自动重定向到某个目录中的页面。但是大多数此类首页显示未显示任何原因或目的。这样的转弯应该被原谅。如果不是万不得已,请尝试不要使用301以外的其他重定向。

  帧结构

  如果仍在使用帧结构设计,建议您立即停止。不要浪费时间研究如何使搜索引擎包含框架站点。因为搜索引擎无法确定框架中的页面内容是属于主框架还是属于框架调用的文件。


关键词价格查询

关键词价格一键查询系统
「一鸣网络」智能搜索营销平台