当同一批内容被放到多个域名上,常出现一个反直觉现象:主域名没有被缓存,反而是某个“备用域名”先出现缓存页面。这不一定说明百度选错了主站,更可能是抓取路径、外链入口或站点结构让备用域名先被处理。要说明各自用途,关键不是删除重复内容,而是给每个域名建立可核对的角色证据,让百度缓存页面反映的是你希望它承担的那一层。
多个域名承载相似内容时,结果异常通常落在两种解释里。第一种是域名用途没有真正分开:几个域名都放完整内容,都允许抓取,互相没有规范指向,百度只能按自己遇到的路径选择。第二种是用途本来分开,但抓取入口不同:主域名靠导航和内链被发现,备用域名靠外链、历史记录或站点地图先被访问,缓存页面因此先出现在备用域名上。
这两种解释对应的处理动作完全不同。若是分工不清,需要改内容归属和链接结构;若是抓取入口不同,先要查清哪个入口在持续把百度带到备用域名,而不是急着屏蔽。
能区分两种解释的证据不在缓存页面本身,而在它周围的路径。可以按下面几项逐条核对:
<link rel="canonical"> 指向主域名对应页面。若规范缺失或指向自身,分工不清的解释更成立。这些证据要一起看。单独一个缓存页面出现或消失,不能证明处理正确;请求量归零也可能只是抓取节奏变化、入口暂时失效或页面被合并,需要结合访问记录和规范指向判断。
假设主域名承载正式内容,另一个域名只用于某次活动镜像,活动结束后镜像仍可访问。若百度缓存页面先出现在镜像域名上,可以这样验证:先查镜像域名的访问记录,若抓取集中在活动落地页,且外部旧链接仍指向它,说明抓取入口解释更成立;再查镜像页面是否有规范指向主域名,若没有,说明分工说明也不完整。
此时的实际动作是:保留镜像页面对用户的可访问性,但在镜像页面加上指向主域名对应内容的规范标签,并把外部入口逐步改指主域名。做完后观察下一步:如果抓取逐渐转向主域名对应路径,说明入口和规范在起作用;如果抓取仍停在镜像域名,就要继续查是否有未发现的外链或站点地图条目仍在推送镜像域名,而不是直接屏蔽抓取。
robots.txt 的抓取限制不等于可靠的索引移除。对多个域名承载相似内容的情况,直接屏蔽备用域名可能让已经存在的缓存页面继续存在,也可能切断你观察抓取入口的路径。更稳妥的顺序是:先明确每个域名承担什么角色,再用规范指向、内链调整和入口迁移把角色表达出来。
如果备用域名只是临时镜像,可以在页面上说明其用途并指向主域名;如果备用域名承担独立服务,就应让内容、导航和规范都体现这种独立,而不是让两边保持高度相似。HTTPS 不保证安全无漏洞或排名,域名分工也不靠协议差异来区分。不同搜索引擎对规范和多域名的支持情况须分别核查,百度语境下应以百度可识别的规范指向和抓取路径为准。
当百度缓存页面出现在非预期域名上,先不要把它当成最终判决。按“抓取记录 → 外链入口 → 规范指向 → 站点地图”的顺序收集证据,判断是分工不清还是入口不同。动作之后,用同一组证据复查抓取是否转向目标域名。若转向,说明角色说明开始生效;若没有转向,下一步应继续找残留入口,而不是扩大屏蔽范围。