改版或迁移时,网站URL提交的核心不是“把新链接发一遍”,而是先核对旧URL到新URL的对应关系、可抓取性和返回状态,再决定哪些URL需要提交。最关键的一步是:在提交前逐条验证旧URL的跳转链和规范地址,确保每个旧URL只指向一个最终可访问的新URL,且该新URL返回200状态码。如果跳过这一步,提交可能把搜索引擎引向错误页面或重复内容。
迁移前先导出旧站所有可访问URL,包括页面、文章、分类和分页。为每条旧URL指定唯一的新URL,形成映射表。映射表至少包含三列:旧URL、新URL、处理方式(301跳转、410删除或保留)。
注意:robots.txt的抓取限制不等于可靠的索引移除。如果旧URL被robots.txt屏蔽,搜索引擎可能仍保留旧索引,迁移时应先解除不必要的屏蔽,让抓取工具看到301或410。
在服务器或CDN层配置301跳转,确保跳转链不超过一跳。例如,旧URL A跳转到B,B又跳转到C,应改为A直接跳转到C。跳转链过长会稀释权重并增加抓取消耗。
每个新页面应设置自引用规范标签,指向自身URL。如果新旧页面暂时并存,旧页面应通过301或规范标签明确指向新页面。不要同时使用301和规范标签指向不同地址,否则信号冲突。
站点地图不保证收录。迁移后更新站点地图,只包含最终可访问的200状态URL,并移除已跳转或已删除的旧URL。站点地图中的URL应与规范标签一致。
提交URL前,用抓取工具或命令行逐项验证:
假设一个例子:旧URL /old-page 配置了301到 /new-page,但 /new-page 又通过JavaScript跳转到 /final-page。此时搜索引擎可能只看到第一跳,无法确认最终地址。应改为 /old-page 直接301到 /final-page。
HTTPS不保证安全无漏洞或排名。迁移时若同时切换HTTPS,应单独核对证书链、混合内容和HSTS设置,不要与URL提交混为一谈。
提交后,通过服务器日志观察搜索引擎抓取旧URL和新URL的频率与状态码。如果旧URL仍被频繁抓取且返回301,说明跳转被识别;如果持续返回404或410,需确认是否遗漏映射。
不同搜索引擎对站点地图、提交接口和索引移除的支持情况须分别核查。不要假设一个平台的处理结果适用于另一个平台。对于已删除且无替代的URL,410比301到无关页面更清晰,但索引移除仍需时间,不能保证立即消失。
下一步:从映射表中随机抽取20条旧URL,用抓取工具批量检查状态码、跳转目标和规范标签,修正所有链式跳转或指向错误后再提交站点地图。