开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4

今日应用

HiFiNi

HiFiNi 是一个由音乐爱好者维护的分享平台, 旨在解决问题互帮互助, 如果您有需求, 请注册账号并发布信息、详细描述歌曲信息等, 我们会尽力帮您寻找HiFiNi MUSIC BBS - HiFiNi.COM

今日话题

开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4

 

重点标签 Meta、Llama 3、AI助手、图像生成器、开源

文章摘要

步骤2：撰写摘要
Meta公司发布了备受期待的开源大模型Llama 3，这一消息在AI领域引起了广泛关注。公司创始人扎克伯格在Facebook上宣布了这一重大消息，并表示Llama 3将使Meta的AI助手覆盖到Instagram、WhatsApp、Facebook等多个应用平台，并且推出了一个图像生成器，可以根据自然语言提示词生成图片。

Llama 3模型的发布，标志着Meta在AI大模型竞赛中迈出了重要一步。该模型在多个关键基准测试中表现出色，特别是在代码生成等任务上实现了全面领先。Meta还提供了一个网站（https://www.meta.ai/）供用户了解更多关于Llama 3的信息。

亚马逊云科技也宣布，Meta的Llama 3基础模型已经可以通过Amazon SageMaker JumpStart进行部署和推理运行。这为用户提供了在SageMaker Studio中使用Llama 3模型的便利。

Llama 3的主要亮点包括：
– 基于超过15T token的训练，是Llama 2数据集的7倍多；
– 支持8K长文本，改进的tokenizer具有128K token的词汇量；
– 在大量重要基准中具有最先进性能；
– 训练效率比Llama 2高3倍；
– 带有新版信任和安全工具，如Llama Guard 2、Code Shield和CyberSec Eval 2。

Meta还提供了8B和70B版本的Llama 3模型的下载链接，以及相关的Github资源。此外，Meta正在开发的400B+参数的最大模型也将在未来几个月内推出。

Meta的研究团队在Llama 3的研发过程中克服了预训练和人类数据、预训练扩展、长上下文、后训练和评估等方面的挑战。公司还计划推出系列视频和研究论文，以帮助人们更深入地了解Llama 3背后的技术。

Llama 3的发布，不仅提升了Meta在AI领域的竞争力，也为开源社区带来了新的活力。随着Llama 3的不断优化和升级，我们有理由期待它在未来将带来更多的创新和突破。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心