在最近泄露的一份文件中,一位谷歌内部的研究人员表达了这样的观点。
这位研究人员认为,虽然表面看起来OpenAI和谷歌在AI大模型上你追我赶,但真正的赢家未必会从这两家中产生,因为一个第三方力量正在悄然崛起。
这个力量名叫「开源」。围绕meta的LLaMA等开源模型,整个社区正在迅速构建与OpenAI、谷歌大模型能力类似的模型,而且开源模型的迭代速度更快,可定制性更强,更有私密性……「当免费的、不受限制的替代品质量相当时,人们不会为受限制的模型付费。」作者写道。
这份文件最初由一位匿名人士在公共Discord服务器上分享,获得转载授权的产业媒体SemiAnalysis表示,他们已经验证了这份文件的真实性。
这篇文章在推特等社交平台上得到了大量转发。其中,得克萨斯大学奥斯汀分校教授 Alex Dimakis 发表了如下观点:
开源 AI 正在取得胜利,我同意,对于全世界来说,这是件好事,对于构建一个有竞争力的生态系统来说也是好事。虽然在 LLM 领域,我们还没有做到这一点,但我们刚刚让 OpenClip 击败了 openAI Clip,并且 Stable Diffusion 比封闭模型更好。
你不需要庞大的模型,高质量的数据更有效、更重要,API背后的羊驼模型进一步削弱了护城河。
你可以从一个好的基础模型和参数高效微调(PEFT)算法开始,比如Lora在一天内就能运行得非常好。算法创新终于开始了!
大学和开源社区应该组织更多的工作来管理数据集,训练基础模型,并像 Stable Diffusion 那样建立微调社区。