Llama 3来了!首批开源 8B 和 70B两个版本,未来有望开源400B大模型!

AI最新资讯2个月前发布 tree
27 0 0

今日应用


今日话题


Llama 3 来了!首批开源 8B 和 70B两个版本,未来有望开源400B大模型!
Llama 3来了!首批开源 8B 和 70B两个版本,未来有望开源400B大模型!
 

重点标签 Llama 3 Meta 开源大模型 人工智能 云平台

文章摘要


步骤2:撰写摘要
Meta 公司发布了其最新版本的 开源大模型 ——Llama 3,并计划在未来几个月内推出新功能,包括更长的上下文窗口、额外的模型大小和增强的性能。Llama 3 包含参数为 8B 和 70B 的预训练和指令微调语言模型,支持广泛的用例,并在各种行业基准测试中展现出最先进的性能。

Meta 对 Llama 3 的开发重点关注了模型架构、预训练数据、扩大预训练规模和指令微调四个关键要素。Llama 3 采用了相对标准的仅解码器的 Transformer 架构,并使用了词汇量为 128K 的分词器。在预训练数据方面,Meta 收集了超过 15T 个令牌的数据,其中包括超过 30 种语言的高质量非英语数据。

此外,Meta 还开发了新的高质量人工评估集,包含 1800 个提示,涵盖 12 个关键用例。研究人员还开发了扩展定律,以预测模型在关键任务上的性能,并结合了数据并行化、模型并行化和管道并行化来训练最大的 Llama 3 模型。

为了确保模型的安全性,Meta 采用了系统级的方法,包括指令微调模型的内部和外部红队测试,以及 Llama Guard 2 和 Cybersec Eval 2 等安全工具的更新。Meta 还引入了 Code Shield,用于过滤由 LLM 生成的不安全代码。

Meta 计划发布具有超过 400B 参数的最大模型,并在接下来的几个月中发布具有新功能的多个模型。此外,Meta 正在更新《负责任使用指南》(RUG),以提供使用 LLM 进行负责任开发的全面指南。

Llama 3 模型现已在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等平台上上线,更多平台的支持即将到来。更多信息可在 Llama 3 官方网站上查看。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC最前线

© 版权声明

相关文章

暂无评论

暂无评论...