今日应用
今日话题
开源大模型王座再易主，1320亿参数DBRX上线，基础、微调模型都有
文章摘要
Databricks公司发布了一款1320亿参数的混合专家模型（MoE）DBRX，超越了其他大模型如Llama 2、Mistral和Grok-1。
DBRX在语言理解、编程、数学和逻辑等方面的性能突出，其基础和微调版本已在GitHub和Hugging Face上发布。
DBRX在多个基准测试中表现优异，包括在MMLU、HumanEval和GSM8K基准上超越GPT-3.5，并与Gemini 1.0 Pro和Mistral Medium竞争。
DBRX的推理速度几乎是LLaMA2-70B的两倍，且在效率上表现出色，平均激活360亿参数处理token。
DBRX在12万亿Token的文本和代码上预训练，支持最大上下文长度32k Tokens。
Databricks希望通过开源模型公开大部分成果，包括一些Meta未公开的关键细节。
DBRX的开源可能会推动生成式AI研究的进步，其训练使用了3072块NVIDIA H100 GPU，训练费用约1000万美元。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。