从卷文本到卷多模态:国内的大模型公司都在忙什么?

未分类4个月前发布 tree
57 0 0
本文来自PRO会员通讯内容,文末关注「机器之心PRO会员」,查看更多专题解读。
从卷文本到卷多模态:国内的大模型公司都在忙什么?

近日,MiniMax 的 AI 视频生成应用「海螺 AI」网页版的访问量暴增,在 9 月增速超 800%。「海螺 AI」、「可灵」等国内 AI 视频生成应用因其生成视频的质量效果较好,在 Reddit 等海外社交平台引起了大量关注。

2024 年,AI 市场关注的重心正逐渐从「模型」到「产品应用」转变。除了常规的 AI 文本对话类应用,多模态的「多」正在成为新的方向。

自 Sora 推出,国内的主要公司陆续跟进,布局视频、音乐、语音等多模态 AI 应用。近期,可灵 AI 海外版、海螺 AI、Vidu 等 AI 视频生成应用表现亮眼;智谱在其 AI 对话应用「智谱清言」中上线「情感语音通话」功能;「AI 六小虎」之一的月之暗面被曝在多模态方面持续投入数月;字节推出 PixelDance、Seaweed 两款视频生成模型……

目录

01. 哪种做法更有可能实现「真」多模态交互?

MLLM 和 LMM 哪个更有可能实现多模态交互?未来的通用智能是否一定是多模态智能?
02. 国内第一梯队的 AI 公司及大厂在多模态产品方面布局如何?
在多模态的竞争中,AI大模型创企、科技大厂、多模态大模型服务厂商推出的产品表现如何?在布局上,有何异同?
03. 多模态应用能否解决国内 AI 创企面临的变现等难题?
为什么产品数据表现亮眼,但距离实现PMF仍有很长的一段路要走?
 01   哪种做法更有可能实现「真」多模态交互?

1、目前做多模态大模型主要有两种思路,一种是让 LLM 具备多模态能力的多模态大型语言模型(MLLM),另一种是「原生的」多模态模型,即大型多模态模型(LMM)。

2、让 LLM 具备多模态能力的多模态大型语言模型(MLLM)是目前常用的一种思路。简单来讲,即将大语言模型(LLM)作为大脑来执行多模态任务。[14]

① 通过充分利用现成的预训练单模态基础模型,尤其是 LLM。LLM 负责提供认知功能并提供多种所需能力,比如稳健的语言泛化能力、零样本迁移能力和上下文学习等。

② 中国科学技术大学和腾讯优图实验室在综述论文中,将其定义为「由 LLM 扩展而来的具有接收与推理多模态信息能力的模型」。

③ 由于不同模态的基础模型是单独预训练的,MLLM 的不足在于无法在多模态空间进行深层复杂推理,以及存在不同模态数据对齐的问题。

3、「原生的」多模态模型,即大型多模态模型(LMM)。此前,谷歌推出的 Gemini 模型和 OpenAI 推出的 GPT-4V 模型均属于 LMM。[15]

① LMM 的特点在于模型一开始即在不同模态上进行预训练,利用额外的多模态数据进行微调来提升有效性,AI 能够同时处理和理解文本、图像、声音等多种类型的输入,进而实现多模态交互,充分模拟人与人之间的交互方式。

4、但无论是哪一种思路,目前业内对于多模态大模型的研究都处于早期阶段,面临着模型统一、 不同模态的语义对齐、跨模态关联、模态解耦等不同的技术难题。

5、「全模态端到端」是目前的一个前沿方向。今年 5 月,OpenAI 发布 GPT-4o 模型,GPT-4o 在响应的时长、语音的情感起伏、可打断等方面表现优异。(详细内容见 Week20 通讯)

① 据 OpenAI 的官方博客,在 GPT-4o 的开发中,他们首次尝试使用了一个统一的模型来同时处理文本、视觉和音频信息。这意味着所有的输入和输出都由同一个神经网络完成。

② 此前,业内常用的做法则需要依靠三个专门的模型,先按一个模型语音转换为文本,再用GPT 处理文本生成回复,最后用一个模型将文本转为语音的流程运作。

6、同时,对于纯视觉大模型(LVM)能否实现智能、视觉等其他模态能否使 LLM 更加智能,以及未来的通用智能是否一定是多模态智能,业内也存在诸多争议和探讨。

7、此外,由于 OpenAI 未公布 GPT-4o 模型的技术细节、实现方法,因此国内对于多模态大模型的探索仍处于摸索阶段,技术路线尚未收敛。

① 不同模态的数据,是各家做多模态相关应用的核心,如何获取和构建高质量的业务 SFT 数据是关键。

8、谷歌的 CEO Sundar Pichai 曾预测,「2025 年,多模态大型语言模型将使人类互动达到前所未有的水平,人类与世界的互动并非单一模式,而是多种模式结合。」

① Pichai 在其搜索引擎应用 Google 观察到,视觉查询的数量已达到数十亿,用户通过用手机拍照后向 Google 提问。新的交互方式正在逐渐普及。[16] 

 02   国内第一梯队的 AI 公司及大厂在多模态产品方面布局如何?

自 Sora、Pika 的陆续推出,「大模型+视频」成为 2024 年重要的趋势。而只有技术还不够,从技术到产品级应用,还有一段路要走。多模态竞争,比拼的是产品化的速度。

1、以国内 AI 视频生成赛道为例来看。近期,可灵 AI 海外版、海螺 AI、Vidu 等 AI 视频生成应用表现亮眼。

① 可灵 AI 海外版作为出海应用,从今年 7 月到 9 月,访问量持续增长,月访问量达 1765 万;

② 海螺 AI 自发布后访问量爆发式增长,今年 9 月,海螺 AI 月访问量翻了近 9 倍,相比 8 月增速高达 867.41%;

③ Vidu 在今年 8 月、9 月访问量从零到 552 万迅速增长,其中 70%的访问量来自海外。

2、从以上三款表现亮眼的应用来看,国内在做 AI 视频生成应用的第一梯队主要为三大阵营:MiniMax、智谱等的 AI 大模型创企;以快手、字节等为代表的大厂;以及生数科技、爱诗科技等多模态大模型服务厂商。

3、从 AI 大模型创企阵营来看,大模型「六小虎」里,AI 视频生成应用势头最猛的是 MiniMax。MiniMax 是「六小虎」里为数不多的布局文本、语音、视频多模态的公司……
 关注👇🏻「机器之心PRO会员」,前往「收件箱」查看完整解读 

👀 往期回顾 👀 

 01  LLM 之后,AI 的下个关键词会是 LWM 吗?

World Labs 要做的 LWM 是什么?LWM 和空间智能有什么关系?LWM 和下一代 AI 有什么关系?3D 才是 AI 的核心表征?空间智能当前有什么进展?世界模型进展如何?…

 02  人形是做通用机器人最合适的形态吗?

为何业内都在做人形通用机器人?人形一定是做通用机器人最合适的形态吗?为什么说 Scaling Laws 才是通用机器人面临的真正难点?如何解决「数据魔咒」的难题?…

 03  Scaling 范式变了?Self-Play 还值得 All In 吗?

OpenAI 的 o1 模型有质的突破吗?Scaling Law 的范式要变了吗?Self-Play 在新范式中重要吗?传统 Self-Play 技术发展如何?Self-Play+LLM 已经能训出更强的模型了吗?…

 04  Machine Psychology,解构 LLM 还是心理学更靠谱吗?

什么是 Machine Psychology?为什么要做 Machine Psychology?做 Machine Psychology 有哪些路线?哪些心理学理论可以用于 LLMs 研究?Machine Psychology 要如何应用?Machine Psychology 下一步要怎么走?…


更多往期专题解读内容,关注「机器之心PRO会员」服务号,点击菜单栏「收件箱」查看。

© 版权声明

相关文章

暂无评论

暂无评论...