重磅!Llama-3,最强开源大模型正式发布!

AI最新资讯1个月前发布 tree
18 0 0

今日应用


今日话题


重磅!Llama-3,最强开源大模型正式发布!
重磅!Llama-3,最强开源大模型正式发布!
 

重点标签 MetaLlama-3开源大模型AIGCTransformer

文章摘要


步骤2:撰写摘要
Meta公司在官网发布了一款名为Llama-3开源大模型,该模型专注于AIGC(人工智能生成内容)领域。Llama-3有两种参数规模,分别为80亿和700亿,还有一个超过4000亿参数的模型正在训练中。与前代Llama-2相比,Llama-3在多个方面如推理、数学、代码生成等能力上有了显著提升。

Llama-3采用了多项创新技术,包括分组查询注意力和掩码技术,这些技术有助于开发者在保持能耗低的同时获得优异的性能。Meta计划很快发布Llama-3的相关论文,以进一步介绍其技术细节。

Llama-3使用了128K的词汇表标记器,这使得模型在处理语言时更加灵活和高效。在训练数据方面,Llama-3使用了超过15T tokens的公开数据集,是Llama-2的7倍,其中包含的代码数量也是Llama-2的4倍。此外,为了实现多语言能力,Llama-3的预训练数据集包含了超过5%的非英语数据,覆盖了30多种语言。

Meta还开发了一个新的高质量人类评估数据集,用于测试Llama-3的性能。测试结果显示,Llama-3的700亿参数指令微调模型在多个关键用例上的性能超过了其他知名模型,如Claude Sonnet、Mistral Medium和GPT-3.5。在其他知名测试平台如MMLU、AGIEval、BIG、ARC中,Llama-3的性能也大幅度超过了其他知名开源模型。

尽管Llama-3在性能上有了显著提升,但在功能上并没有带来太多惊喜,例如将视频或音频功能内置在模型中。然而,Meta已经发布了很多音频、视频和图像相关的产品和研究论文,预计未来Llama-3将整合这些功能,带来更多的创新和应用。

本文的素材来源于Meta官网,如有侵权请联系删除。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...