网站规模扩大后,最先不适合继续手工做的,是那些“页面数量在涨、判断标准却几乎不变”的重复工作,例如逐页改标题、逐条补内链、逐个检查旧页面是否还有保留价值。手工并非立刻失效,而是当它开始拖慢决策、让同类页面处理不一致时,就该把规则抽出来,交给模板、脚本或批量流程。真正需要人判断的,是保留、改写还是退出,以及哪些旧内容还值得占用抓取和索引资源。
规模扩大后,工作可以按两个维度分开:判断是否依赖单页上下文,以及处理动作是否高度重复。逐页写正文、判断一段旧合作关系是否还值得保留,属于依赖上下文的判断;批量改 `<title>`、统一补充面包屑、给已确认退出的页面加 `<meta name="robots" content="noindex">`,属于规则明确后的重复动作。
一个可操作的区分方法是:随机抽 20 个同类页面,如果其中 15 个以上的处理方式相同,就说明这类工作已经具备批量化条件。假设某站有 3000 篇旧文章,其中 2200 篇属于同一栏目、同一内容类型、同一转化路径,那么这 2200 篇的标题格式、内链位置、过期提示就可以先形成模板规则,再批量执行;剩下 800 篇再按主题、流量、外链和业务价值逐篇判断。这个数字只是说明比较方法,不是行业基准。
保留适合仍能回答用户问题、且页面主体信息没有过时的内容。保留不等于原样不动,至少要确认它还能被正常抓取、索引,并且站内还有合理入口。若页面只是年份旧、核心方法仍成立,通常优先改写而不是退出。
改写适合主题仍有需求,但页面结构、示例或结论已经落后。改写前先看它是否还有外部链接、是否仍在产生自然点击、是否属于站内某个主题簇的必要节点。若这些条件成立,重写正文和更新内链的价值通常高于直接删除。
退出适合内容与当前业务无关、主题重复且没有独立价值、或旧系统旧合作关系已经无法维护的页面。退出不只有删除一种做法:可以合并到更完整的页面,也可以保留 URL 但设置为不可索引。选择哪种,取决于该 URL 是否还有外链、是否被用户收藏、是否出现在站内导航中。
这里最容易手工做错的是“一刀切”。规模小时,逐页看还来得及;规模大后,如果没有先按栏目、内容类型、外链情况分组,手工处理很容易把仍有价值的页面一起清掉,或者把早该退出的页面继续留在索引里。
下面这些动作,在页面数量超过人工可稳定覆盖的范围后,通常更适合规则化处理:
这些动作的共同点是:规则一旦确定,单页差异很小。把它们继续手工做,成本不只是时间,还包括遗漏和不一致。比如同一批 500 个旧页面,手工改标题可能只完成一部分,剩下的页面继续用旧模板,站内就会出现两种标准,后续判断哪些页面该保留时反而更混乱。
规则化处理完成后,人的工作不是减少,而是前移。需要盯的是规则是否仍然成立:某类页面是否还有抓取价值,改写后的页面是否真的更完整,退出页面是否还有外部链接指向它。抓取、索引和排名是不同环节,页面被移除索引不等于外链消失,页面仍被抓取也不等于它值得保留。
一个实际动作是:先选一个栏目做小范围处理,把保留、改写、退出的规则各跑一遍,再观察该栏目的抓取和索引状态是否朝预期方向变化。如果处理后仍有大量同类页面处于模糊状态,说明分组标准还不够细,下一步应先调整分组,而不是继续扩大批量执行范围。请求量或抓取量下降本身不能单独证明处理正确,它也可能来自站点地图更新、内链减少或抓取预算重新分配。
规模扩大后,手工适合处理例外,规则适合处理多数。先把重复动作交给模板和脚本,再把人的判断留给保留、改写与退出的边界,权重优化才不会变成一场永远做不完的逐页修补。