今日应用
今日话题
Is Scaling All You Need? LLM收益递减,AI小厂难活命
文章摘要
近日,马库斯的一句「Is scaling all you need?」引发了正反两方的论战。自GPT-4发布以来,尽管有约500亿美元投资在芯片上,但至今仍无模型能超越GPT-4,引发了对LLM领域进步停滞的担忧。一方面,有观点认为,模型性能提升所需的算力已难以满足,且LLM性能的线性增长可能需要指数级的数据,表明我们可能已触及天花板。德克萨斯大学心理学教授Art Markman指出,我们已从数据中榨取了所有可能的东西,除非开发出将LLM链接到基于符号知识的模型的方法。另一方面,反方认为模型正变得越来越小、速度越来越快,且能保持接近SOTA的性能。
从历史数据看,GPT-4相较于前代有显著提升,但之后的进步比例有限。马库斯在其博客中提到,没有再进步的一个原因可能是触及基准测试的上限。同时,开源和闭源模型的性能差距在逐渐缩小,LLM仍然会犯一些愚蠢的错误,如幻觉问题未得到解决。如果LLM无法解决自身问题,市场估值可能暴跌。
在AI产业方面,Sequoia Capital的统计显示,初创公司购买NVIDIA芯片训练大模型花费约500亿美元,但总收入仅30亿美元,表明许多公司在苦苦挣扎。一些公司如Inflection AI、Character.ai、Ghost等面临困境,而风险投资者也开始变得谨慎。开源模型的崛起为小厂提供了更低成本的解决方案。
英伟达CEO黄仁勋表示,聊天机器人正向多模态迈进,对图片和声音的处理将消耗大量GPU。自动驾驶、边缘计算、机器人等领域已成为重要市场。特斯拉等公司需处理大量数据,未来这个领域的变化将非常快,新技术层出不穷。
总之,尽管LLM领域面临一些挑战,但AI产业仍在不断发展,开源模型的崛起为小厂提供了新机遇,而自动驾驶等新兴领域的发展也为AI产业带来了新的增长点。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台