1320亿参数,性能超LLaMA2、Grok-1!开源大模型DBRX

AI最新资讯2个月前发布 tree
34 0 0

今日应用


今日话题


1320亿参数,性能超LLaMA2、Grok-1!开源大模型DBRX
1320亿参数,性能超LLaMA2、Grok-1!开源大模型DBRX
 

重点标签 大模型DBRXMoEAIGC性能

文章摘要


Databricks开源了一款名为DBRX的1320亿参数大模型,该模型基于专家混合模型(MoE)架构,具备文本生成、代码编写和数学推理等能力。

DBRX的性能在多个测试中超过了LLaMA2-70B和Grok-1,并且推理效率是LLaMA2-70B的两倍,总参数仅为Grok-1的三分之一。

DBRX使用了12T的文本和代码数据(支持中文),并支持32k上下文窗口。

在与OpenAI的GPT系列、谷歌的Gemini等模型的比较中,DBRX展现了出色的推理、数学解答、语言理解和代码能力。

MoE模型通过门控机制、专家网络和聚合器三大模块,高效利用计算资源,是训练超过千亿参数大模型的常用架构。

Databricks是一家提供数据智能分析服务的公司,拥有超过10000家企业客户,包括多家财富500强企业。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...