开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有

AI最新资讯2个月前发布 tree
25 0 0

今日应用


今日话题


开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有
开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有
 

重点标签 DBRX开源AI模型效率基准测试

文章摘要


Databricks公司发布了一款1320亿参数的混合专家模型(MoE)DBRX,超越了其他大模型如Llama 2、Mistral和Grok-1。

DBRX在语言理解、编程、数学和逻辑等方面的性能突出,其基础和微调版本已在GitHub和Hugging Face上发布。

DBRX在多个基准测试中表现优异,包括在MMLU、HumanEval和GSM8K基准上超越GPT-3.5,并与Gemini 1.0 Pro和Mistral Medium竞争。

DBRX的推理速度几乎是LLaMA2-70B的两倍,且在效率上表现出色,平均激活360亿参数处理token。

DBRX在12万亿Token的文本和代码上预训练,支持最大上下文长度32k Tokens。

Databricks希望通过开源模型公开大部分成果,包括一些Meta未公开的关键细节。

DBRX的开源可能会推动生成式AI研究的进步,其训练使用了3072块NVIDIA H100 GPU,训练费用约1000万美元。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...