网站死链怎样形成可复用检查清单：从一次假设的404排查说起
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /dbe57ebb0e1a.html
📄
网站死链怎样形成可复用检查清单：从一次假设的404排查说起
可复用的网站死链检查清单，核心不是把“检查死链”写成一个待办项，而是把发现、定位、修复、验证四个阶段拆成固定字段：URL、来源页面、HTTP状态、链接类型、处理动作、复查结果。这样下一次出现死链时，换一批URL仍能按同一张表推进，不必重新想流程。
先看一个假设例子：产品页改版后出现404
假设某站点把旧产品页统一改到新路径，但没有为旧URL设置跳转。三天后，站长工具里出现一批404。此时不要只导出404列表就结束，而应按下面的顺序收集证据。
- 从服务器日志或站点爬取结果中导出返回404的URL，记录状态码和首次发现时间。
- 对每个404 URL，查它被哪些页面链接：站内导航、文章正文、站点地图、外部来源都要分开记录。
- 判断链接类型：是
<a href>普通超链接，还是图片、脚本、样式表、表单提交地址。不同类型处理方式不同。 - 确认旧URL是否还有等价内容。有，则设置301到最接近的新页面；没有，则返回410或保留404，并移除站内入口。
- 修复后重新抓取来源页面，确认链接已更新或跳转生效，再复查原URL的响应状态。
常见错误有三个：只改站内链接，忘了外部链接仍指向旧地址；把404全部跳转到首页，造成软404和用户困惑；把robots.txt里屏蔽某个路径当成删除死链的手段。抓取限制不等于索引移除，也不等于链接失效问题已经解决。
清单要固定哪些字段
字段固定，清单才能复用。建议至少包含以下列，并保持每次排查都填同一套：
- URL：出现问题的完整地址，保留大小写和参数。
- 状态码：404、410、301、302、500等，按实际响应记录。
- 来源页面：哪个页面链接到它，多个来源分行写。
- 链接类型：正文链接、导航、图片、脚本、站点地图、外部引用。
- 内容是否等价：旧页面内容是否已迁移到新页面。
- 处理动作：改链接、加跳转、删除入口、返回410、暂不处理。
- 复查日期与结果：修复后实际返回什么状态，来源页面是否已更新。
如果站点规模很小，用表格软件即可；规模大时，可让爬虫导出CSV后按同一字段整理。字段不统一，清单就会退化成一次性记录，下次无法比较。
如何判断该跳转、该删除还是该保留
判断依据是内容等价性和用户意图，而不是“404越少越好”。
- 旧URL有明确的新对应页面，且主题一致：设置301，并更新站内来源链接。
- 内容已彻底下线，没有替代页面：返回410或保留404，同时清理站内入口和站点地图中的旧地址。
- URL只是参数不同或末尾斜杠差异：先确认是否指向同一内容，再决定规范化或跳转，避免多条URL重复。
- 外部链接指向的旧页面仍有价值：优先保留可访问内容或做301，而不是直接删除。
站点地图不保证收录，所以不能把“已从站点地图移除”当作死链已修复的证明。真正要复查的是：用户和爬虫访问该URL时，实际得到什么响应；来源页面上的链接是否还指向它。
把检查变成固定节奏
可复用还意味着触发条件固定。可以在以下时点运行同一张清单：改版上线前、批量删除内容后、更换域名或目录结构后、定期爬取发现新增404时。每次只更新数据，不重写流程。
执行时注意区分“可能原因”和“已经定位的原因”。例如某个URL返回404，可能是文件被删除、服务器配置错误、大小写不一致或重写规则失效；在未逐项验证前，不要只认定其中一个原因。HTTPS也不保证页面一定可访问，证书有效与链接有效是两件事。
下一步，先选最近一次出现的死链，按上面的字段建一张表，填完来源、状态码和处理动作；修复后隔一天再复查同一批URL，确认清单能闭环，再把它用于下一批。
