今日应用
今日话题
中文OCR超越GPT-4V,参数量仅2B,面壁小钢炮拿出了第二弹
重点标签 端侧大模型、MiniCPM、多模态、长文本、MoE架构
文章摘要
面壁智能发布新一代端侧大模型MiniCPM
面壁智能在4月11日发布了新一代的端侧大模型MiniCPM系列,这一系列包括了四个模型,分别是MiniCPM-V 2.0、MiniCPM-1.2B、MiniCPM-2B-128K和MiniCPM-MoE-8x2B。这些模型在多模态、长文本和MoE架构等领域进行了迭代和优化,旨在实现“小而强,小而全”的目标。
MiniCPM-V 2.0:最强端侧多模态大模型
MiniCPM-V 2.0在多模态能力上展现出色的表现,尤其在OCR(光学字符识别)方面有显著提升。该模型在OpenCompass榜单中超越了其他主流评测基准,展现了小身板也能蕴藏强大能力。此外,MiniCPM-V 2.0在处理高清图片和长图识别方面也有出色表现,能够处理最大180万像素的高清大图。
MiniCPM-1.2B:小小钢炮
MiniCPM-1.2B是一款体量更小的模型,虽然参数减少了一半,但仍保留了上一代2.4B模型的87%综合性能。这款模型在多个公开权威评测榜单上展现出了更小模型击败大模型的潜力,同时在iPhone 15上的运行效果流畅,推理速度提升38%。
MiniCPM-2B-128K:支持长文本理解的最小体量模型
MiniCPM-2B-128K成为了支持128K上下文窗口的最小体量模型。在InfiniteBench榜单中,该模型以2B的体量超越了多个6B、7B量级模型,实现了“量小质高”。
MiniCPM-MoE-8x2B:性能增强的MoE架构模型
MiniCPM-MoE-8x2B模型采用了最前沿的MoE(混合专家模型)架构,提升了性能,同时降低了训练成本。该模型在多个权威评测基准上取得了优异的成绩,甚至击败了LLaMa-34B。
面壁智能的技术实力和大模型探索
面壁智能的技术实力和对大模型的探索,为AI领域的未来发展提供了新的可能性。面壁智能的团队在清华自然语言处理实验室(THUNLP)的支持下,专注于有引领性方向的研究。面壁智能已经完成了新一轮数亿元人民币的融资,将用于加快推动大模型的高效训练和应用落地。通过MiniCPM系列模型等工作,面壁智能为实现AGI的通用基座大模型奠定了深厚的基础。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心