谷歌研究发现：较小的人工智能模型在效率上超越较大模型

在所有试图系统化人工智能（AI）领域并探讨较小AI模型是否能在效能上超越较大模型的尝试中，谷歌研究院与约翰斯·霍普金斯大学的一项研究最终驳斥了这一观点。该研究表明，在图像生成领域，较小模型往往比其大型 counterparts 表现更好。5月2日，由Kangfu Mei和Zhengzhong Tu领导的研究揭示了潜在扩散模型（LDMs）的缩放特性。他们发现，输出图像分辨率的变化并不会带来显著改变，然而增加模型规模可以带来实质性的提升。 

重新思考AI模型效率

该研究采用了参数数量从3900万到50亿的LDMs，涵盖了文本到图像生成、超分辨率和主体驱动超分辨率等任务，参与者经历了精心练习和评估的训练及评估过程。事实证明，较小模型即使不比被比较的模型大，也能胜任工作，这表明在计算资源受限时，较小模型甚至可能超越较大模型。

本研究的探索发现错综复杂。第一个值得注意的点是，小模型性能优异，在所有类型的扩散采样器中提供相同或更高的采样效率，即使在完成模型蒸馏后也是如此。 

这种稳健性解释了较小模型的性能优势是其内在特质，而非训练算法或方法的直接结果。尽管如此，这也承认了大模型在资源分配问题（如计算能力）不突出的情况下，同样可用于相同目的，因为它们能生成细节更好的图像。

关键发现与启示

这些发现不仅对当前的技术空间具有革命性意义，也对AI的发展产生了重大影响。它们在AI系统的发展中发挥着重要作用，使得高端能力下的图像生成更加普及、强大且资源友好。在当今呼吁以开放和可访问的方式发展人工智能的背景下，这一点尤为重要，因为这将使AI最终惠及开发者和用户。

这与当今AI社会的一种趋势相一致，即证明了LLaMa和Falcon等较小模型在各种任务中优于其他模型。 

应用开源代码的趋势，因其速度快且节省设备能源，将提高AI世界的民主化水平，使系统无需依赖对高级计算机系统敏感性的需求即可运行。这类研究的启示令人震惊，可能导致AI在日常技术中应用方式的彻底改变，并使更高级的AI解决方案惠及更多用户。

范式的转变

谷歌研究院和约翰斯·霍普金斯大学的研究现在已成为AI发展的关键转折点，它们质疑当前的AI开发方法，并指导从业者部署更便宜、更环保的AI流程。 

AI社区正迈向微小模型研究领域，这项研究不仅总结了当前对该视角的理解，也为AI系统创建的效率、性能和实用性方面的创新提供了空间。

因此，这一发展不仅是AI技术开发的范式转变，也是行业向包容性和可访问性迈进的运动。随着AI存在的日益增加，能够在众多设备上高效准确部署模型是使AI拥有更广泛应用范围的少数因素之一，一旦这些技术进入市场，将极大扩展AI的应用范围。 

这项研究的创新之处在于模型缩放特性，它将模型规模与性能之间的权衡纳入考量，使其成为一项开创性研究，承诺带来更高效、更普及的AI未来。