语言模型的能力差异一直是AI产业关注的焦点。为何参数量更大的模型往往能掌握小模型无法学会的技能？一项由研究团队开展的新实验，通过对比参数量从400万到40亿不等的模型，揭示了背后的关键机制：灾难性遗忘的强度与任务出现频率直接相关。

在训练过程中，模型会不断接触各类任务数据。研究发现，当某个任务在训练数据中出现的频率较低时，后续涌入的高频任务数据会像潮水一样，持续覆盖和冲刷掉模型此前对稀有任务的学习成果。小模型由于参数容量有限，这种覆盖效应尤为明显，导致它们最终在稀有任务上表现失败。而大模型凭借更大的参数空间，能够在一定程度上隔离和保留这些低频知识，从而展现出更全面的能力。

这项研究的意义在于，它提供了一个无需盲目扩大模型规模的替代方案。研究人员指出，如果能在数据准备阶段，刻意提高目标稀有任务在训练数据中的重复频率，即便参数量较小的模型，也能有效掌握这些技能。这意味着，在特定应用场景下，通过优化数据配比和训练策略，企业或许可以用更小的模型、更低的算力成本，达到接近大模型的效果。

从AI产业的角度看，这一发现对基础设施层和模型层均有潜在影响。当前，业界普遍通过堆叠参数和算力来追求模型能力的全面性，这直接推高了芯片采购、数据中心能耗和训练成本。如果数据层面的策略优化能够部分替代规模扩张，那么对于算力需求的增速、以及相关硬件投资的回报预期，都可能产生重新评估的空间。这为那些资源有限、但专注于特定垂直领域的AI应用开发者，提供了一条更具成本效率的技术路径。