声明：本文来自于

【新智元导读】谷歌团队认为，模型泛化能力无处不在，只要摸清条件，模型就不是随机鹦鹉。

在特定情况下，人工智能模型会超越训练数据进行泛化。在人工智能研究中，这种现象被称为「顿悟」，而谷歌现在正在提供对最近发现的深入了解。

在训练过程中，人工智能模型有时似乎会突然「理解」一个问题，尽管它们只是记住了训练数据。在人工智能研究中，这种现象被称为「顿悟」，这是美国作家Robert A. Heinlein创造的一个新词，主要在计算机文化中用来描述一种深刻的理解。

当人工智能模型发生顿悟时，模型会突然从简单地复制训练数据转变为发现可推广的解决方案——因此，你可能会得到一个实际上构建问题模型以进行预测的人工智能系统，而不仅仅是一个随机的模仿者。

谷歌团队:「顿悟」是一种「有条件的现象」

「顿悟」在希望更好地理解神经网络学习方式的人工智能研究人员中引起了很大的兴趣。这是因为「顿悟」表明模型在记忆和泛化时可能具有不同的学习动态，了解这些动态可能为神经网络学习提供重要见解。

尽管最初是在单个任务上训练的小型模型中观察到，但谷歌的最新研究表明，顿悟也可以发生在较大的模型中，并且在某些情况下可以被可靠地预测。然而，在大型模型中检测这种顿悟动态仍然是一个挑战。

在这篇文章中，谷歌研究人员提供了有关这一现象和当前研究的视觉展示。该团队对超过1000个不同训练参数的小型模型进行了算法任务的训练，展示了「有条件的现象——如果模型大小、权重衰减、数据大小和其他超参数不合适，这种现象会消失。」

了解「顿悟」可能会改进大型AI模型

根据该团队的说法，仍然有许多未解之谜，例如哪些模型限制会可靠地引起「顿悟」，为什么模型最初更喜欢记住训练数据，以及研究中用于研究小型模型中这一现象的方法在大型模型中是否适用。

对「顿悟」的理解进步可能会为未来大型AI模型的设计提供信息，使它们能够可靠且快速地超越训练数据。

Tags: