结论有前提:只有当被删页面在删除前已被工具记录过一次完整快照,且该快照保留了链接锚文本、目标URL和所在页面位置三要素,历史对比才有意义。否则你保留的只是“这个页面曾经存在”这一事实,无法回答友情链接是随页面一起消失,还是在更早时间已被移除。多数人卡住的地方不是没做备份,而是备份里缺了页面与链接的对应关系。
被删除页面在历史对比中通常承担两种角色,处理方式不同。
友情链接检测工具的报告一般按“页面—出链”或“页面—入链”组织。如果你只导出了链接清单,没有导出页面归属,删除后链接记录会变成无主数据,无法判断它属于哪个页面、位于导航还是正文。因此保留的第一步不是存更多字段,而是确保每条链接记录都带一个稳定的页面标识。
页面被删和被链页面上的链接被摘除,是两个事件。对比时若把两者混为一谈,会得出错误归因。可用的证据链是:
如果链接最后一次出现早于页面删除,说明链接在页面删除前已被手动移除,删除页面只是后续动作。如果链接最后一次出现与页面删除接近,才更可能是随页面消失。第三方估算的流量或链接量归零不能单独证明是删除导致,也可能是抓取覆盖下降、工具抽样变化或索引延迟。把这三类现象列在同一时间线上,比只看一个指标更有判断力。
不必保存整页HTML,但以下字段缺失会让对比失效:
source_url:链接所在页面地址。target_url:链接指向地址。anchor_text:锚文本,用于判断是否同一链接被改写。first_seen 与 last_seen:首次和末次出现时间。page_status:页面当时的可访问状态。假设某工具在两次抓取之间把同一链接的锚文本从品牌词改成“点击这里”,若你只存了 target_url,会误判为同一链接未变;存了 anchor_text 才能发现改写。这是假设例子,用于说明字段取舍的比较方法,不代表任何具体工具的实际输出。
如果被删页面在删除前经历过一次改版,链接位置从正文移到了页脚,而你的快照只记录了链接存在与否、没记录位置,那么历史对比会显示“链接仍在”,掩盖它其实已被降级处理。此时基于“链接未消失”得出的结论不成立。另一个反例是页面被删除后以相同URL重建,工具若按URL去重,会把新旧两段历史合并,删前删后的链接被算作连续存在。遇到这两种情况,需要先按页面版本或快照批次切分数据,再做对比。
具体动作是:在下次导出时,为每条链接记录附加一个页面级标识(如规范化后的URL或内容指纹),并把该标识写入历史存档。做完这一步,你才能回答“这个链接属于哪个页面”。
如果补完标识后仍无法区分删除前后的链接,说明存档缺少时间维度,此时应停止继续累积新数据,先回溯工具是否提供按抓取批次查看的功能;若没有,则改为每次检测后单独导出一份带日期的存档。这个动作的结果直接决定下一步:能区分批次就做逐批对比,不能区分就只能把删除后的数据视为新基线,不再与删除前混算。