在众多试图系统化人工智能(AI)领域并探讨小型AI模型是否能在效能上超越大型模型的研究中,谷歌研究院和约翰·霍普金斯大学的一项研究最终推翻了这一论点。该研究表明,在图像生成领域,小型模型往往比大型模型表现更佳。5月2日,由梅康福和涂正中领导的这项研究揭示了潜在扩散模型(LDM)的尺度特性。他们发现,输出图像分辨率的变化并不会带来显著的性能提升,但增加模型尺寸却能带来显著的性能改善。
重新思考人工智能模型效率
这些研究采用了参数量在3900万到50亿之间的线性动态模型(LDM),并针对文本到图像生成、超分辨率和主体驱动的超分辨率等任务进行了多种尝试。参与者在训练和评估过程中都经过了精心设计和评估。研究结果表明,即使模型规模不及对比模型,较小的模型也能表现出色,这表明在计算资源有限的情况下,较小的模型甚至可以超越较大的模型。
本研究的探索过程十分复杂。首先值得注意的是,小型模型性能优异,在所有类型的扩散采样器中,甚至在模型精炼之后,都能提供相同或较高的采样效率。
这种稳健性表明,低端模型的芯片尺寸是其性能不可或缺的一部分,并非训练算法或方法的直接结果。然而,这也承认,更大的模型在实现相同目的时也很有用,尤其是在不存在资源分配问题(例如计算能力)的情况下,因为它们可以生成细节更丰富的图像。
主要发现和启示
这些发现不仅对当前的技术领域具有革命性意义,而且对人工智能的发展也具有深远的影响。它们在人工智能系统的发展中发挥着至关重要的作用,使得高端图像生成更加便捷、强大且资源节约。在当今时代,人们越来越呼吁以开放和易用的方式发展人工智能,使其能够惠及开发者和最终用户,这一点尤为重要。
这与当今人工智能社会的某种趋势相符,也证明了像 LLaMa 和 Falcon 这样的小型模型在各种任务中比其他模型更优越。
应用开源代码的趋势,由于其速度快、能耗低,将提升人工智能领域的民主程度,使系统无需依赖高级计算机系统即可运行。这类研究的影响令人瞩目,它可能会彻底改变人工智能在日常技术中的应用方式,并使更多用户能够使用高级人工智能解决方案。
范式转变
谷歌研究院和约翰·霍普金斯大学的研究成果,对当前的人工智能开发方法提出了质疑,并指导从业者部署更廉价、更环保的人工智能流程,这标志着人工智能发展的一个关键节点。
人工智能界正转向微型模型研究领域,这项研究虽然没有总结目前对该领域的全部理解,但也为在人工智能系统的效率、性能和实用性方面进行创造性创新提供了空间。
这一发展不仅标志着人工智能技术发展范式的转变,也标志着该行业正朝着技术包容性和可及性的方向迈进。人工智能日益普及的诸多优势之一,在于能够构建可在各种设备上高效、精准运行的可部署模型。一旦这些模型进入市场,它们将拥有更广泛的应用范围。
这项研究的新颖之处在于模型的可扩展性,它将模型大小和性能之间的权衡考虑在内,这使得这项研究成为一项突破性的研究,有望带来更高效、更易于使用的人工智能未来。

