文章目录[隐藏]
网站存在大量的404状态死链,不利于网站 SEO 优化,严重影响网站搜索引擎站点评级,不利于网站页面的搜索引擎收录及排名。
那么对网站自身的404 死链,应该如何处理?我们将详细说明如何进行404数据检测及如何处理404状态死链。
什么是404状态码
每当访客访浏览你的网站时,浏览器就会向服务器发送请求,并接收包括HTTP标头的数据。HTTP 标头包含 HTTP 状态代码,用于解释请求“发生了什么”。
在大多数情况下,请求可以正常运行,并且您实际上不会看到HTTP状态代码(通过开发者工具查看)。如果出现问题,浏览器通常会显示带有HTTP状态代码的 Error 404 Not Found,以指示确切的问题。
类似500错误,502错误,504错误等。
404报错意味着什么
404意味着浏览器能够成功连接到网站服务器,但无法找到所请求的实际资源。
例如,如果有人尝试访问链接,zhuji.gd/***,但网站并没有 *** 子目录,访客就会看到404报错,即使Web服务器正常运行,所请求的资源也不存在。
这不仅是文章或页面,任何网站数据丢失都可能在服务器上产生404错误,例如图像文件丢失,JavaScript丢失,CSS丢失等。
导致404报错的原因
如果访问网站所有内容上均看到此错误,则通常是由于 WordPress 网站的固定链接出现问题。如果仅在单个内容上看到它,则最有可能是因为没有设置重定向,更改了目录内容。
一样404报错,不同的名称
由于不同的浏览器以不同的方式显示错误消息,因此对于此错误,您可能会看到不同的消息。
- “Error 404”
- “404 Not Found”
- “HTTP Error 404”
- “Not Found”
- “Page Not Found”
- “The requested URL was not found on this server.”
- “The page cannot be found”
- “We can’t find the page you’re looking for.”
- “The requested URL /~ was not found on this server.
如何检测网站404数据?
我们可以通过什么方式来发现这类错误。
- 找出那些坏链(Broken URL),这些链接可能是内部链接,也可能是其他站点的外部链接。然后,尽可能地修复这些链接。
- 通过百度搜索资源平台抓取异常查找404错误URL地址。弄清楚为什么搜索引擎尝试抓取不存在的页面并在需要时设置重定向。
- 对404错误相关的问题进行故障排除。
选项1 – 百度搜索推送管理插件+蜘蛛分析插件
利用蜘蛛分析 WordPress 插件( Spider Analyser ),可以实现网站404错误URL链接监测及死链数据列表下载。
其中蜘蛛分析插件可以实时检测搜索引擎爬虫踪迹,对所有搜索引擎蜘蛛爬取网站URL的数据进行统计,包括爬取链接、状态码及蜘蛛名称等。
然后通过百度搜索推送管理插件的死链检测功能,将状态码为404的搜索引擎蜘蛛爬取链接数据整理至插件的死链提交清单,以便于站长对死链进一步处理。后面我们会详细介绍关于网站死链的处理办法。
选项2 – 重定向插件检测
Redirection 插件可以帮助您监控404错误。
选项3 – 通过百度搜索资源平台查找404错误链接
通过百度搜索资源平台的数据统计-抓取异常,选择“找不到页面”选项卡,我们也可以找到404错误链接清单。
选项4 – Google Analytics(分析)
使用Google Analytics(分析),可以设置自定义报告以跟踪来自外部链接的404错误。国外博主Rebelytics专门写了相关教程。
选项5 – Google Search Console
最后,可以在Google Search Console 中跟踪Google蜘蛛爬取网站页面时遇到的404错误。访问Google Search Console并验证你的网站,通过 Crawl → Crawl Errors → Not found,即可查看谷歌搜索引擎蜘蛛遇到404错误链接列表。
上述五种方式均可以帮助你发现网站日常遇到的404错误数据,至于哪种方式更适合你,则因人而异。
如何处理网站死链数据?
更新WordPress网站的固定链接
如果您尝试访问内容时遇到全站的404错误,则最可能的原因是固定链接。通过 WordPress 仪表板更新您的固定链接设置。所需要做的就是转到“设置”→“固定链接”,然后单击“保存更改”。
如果使用自定义链接,需要实现伪静态,需要对服务器进行URL重写规则配置:
如果你使用的是LNMP环境,若已经选择 WordPress 作为网站程序,理论上 LNMP 已经帮你配置好了网站伪静态。
但如果使用 /%post_id%.html 格式作为固定链接时无法访问,手动配置Nginx或者Apache即可:
Nginx伪静态配置
一般目录为/usr/local/nginx/…
,找到网站的conf或者rewrite规则的conf,添加以下代码行:
location / { try_files $uri $uri/ /index.php?$args; } rewrite /wp-admin$ $scheme://$host$uri/ permanent;
Apache伪静态配置
一般目录为 /www/wwwroot/www.yourdomain.com ,修改 .htaccess 文件添加以下代码行:
<IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule>
为移动或重命名的内容设置301重定向
如果在特定内容上遇到404错误,可能遇到以下问题:
- 更改了该内容的URL地址。
- 手动移动该内容,例如删除现有文章并将其粘贴到新文章中。
解决此问题的最佳方法是将尝试访问旧链接的访客自动重定向到新链接。
WordPress默认情况下将尝试重定向更改或者移动的内容。但这并不总是有效,不建议依赖WordPress来实现此功能。但是不用担心,有几种简单的方法可以在WordPress中设置重定向:
(1)使用插件设置301重定向
首先,您可以使用前面提到的 Redirection 重定向插件来实现URL重定向 。安装并启用插件后,转到工具→Redirection,然后在“Source URL”框中输入404报错页面URL,并在“Target URL”框中输入内容的新链接:
(2)宝塔面板添加301重定向
如果使用宝塔面板,则通过宝塔面板创建重定向规则实现301重定向跳转来解决404错误页面问题。
进入宝塔面板,点击左侧“网站”菜单在网站列表中选择你需要设置重定向规则的网站,点击“设置”,点击界面左侧菜单“重定向(测试版)”,选择“添加重定向”:
- 重定向类型选择为路径;
- 重定向方式选择301;
- 重定向路径-即源URL,即移动或删除的URL;
- 目标URL-即旧内容的新URL链接。
宝塔面板301跳转重定向设置
提交404数据删除
如果这些404死链数据,都没有新的内容可代替怎么办?
如果检测到的404死链数据均没有可代替的内容,则不需要考虑301重定向跳转规则设置,而应该将这些死链数据提交给百度搜索引擎,告知搜索引擎删除,以免这些旧数据影响到网站的评级。
Step 1 -安装并启用 Spider Analyser 插件,插件就会实时检测搜索引擎蜘蛛爬取网站页面行为,并发现统计所有状态码的URL地址。
搜索引擎蜘蛛日志
Step 2 -下载并安装启用百度推送管理插件BSL,通过设置-百度搜索推送管理,在插件界面右侧菜单“插件设置-死链检测设置”,点击“启用”。
Step 3 -点击插件设置界面的右侧菜单“数据统计-死链提交清单”,进入网站死链数据列表,即可查看当前已经发现的所有死链数据。
若确保当前列表的所有死链数据均无可替代的URL地址,即可点击生成列表。
Step 4 -然后登录你的百度搜索资源平台,在“搜索服务-站点资源-死链提交”,将复制好的死链文件地址粘贴到下方截图中死链文件地址,更新周期可以根据自己的实际情况来填写,建议为7天、14天或者30天,最后点击“提交”即可。
温馨提示:提交死链文件地址前,请务必对404死链进行刷新状态,以确保URL的最新状态码。此外,尽可能在提交死链前,对死链进行301跳转处理(如有可代替的URL地址)。
小结
网站404死链无论是对访客访问还是搜索引擎蜘蛛都不友好,站长应该及时对此类链接进行处理。
针对404死链的处理步骤应该是,先使用蜘蛛分析或者重定向插件,站长工具等检测查找到这类链接;然后尽可能通过301重定向死链(如果能够有替代的页面);最后才是去百度搜索资源平台提交死链文件地址。
为了保证网站的搜索引擎评级,提升搜索引擎蜘蛛爬取的效率及积极性,确保站点死链得到正确有效的处理。