今日应用
今日话题
Llama 3 来了！首批开源 8B 和 70B两个版本，未来有望开源400B大模型！
重点标签 Llama 3 、 Meta 、 开源大模型 、 人工智能 、 云平台
文章摘要
步骤2：撰写摘要
Meta 公司发布了其最新版本的 开源大模型 ——Llama 3，并计划在未来几个月内推出新功能，包括更长的上下文窗口、额外的模型大小和增强的性能。Llama 3 包含参数为 8B 和 70B 的预训练和指令微调语言模型，支持广泛的用例，并在各种行业基准测试中展现出最先进的性能。
Meta 对 Llama 3 的开发重点关注了模型架构、预训练数据、扩大预训练规模和指令微调四个关键要素。Llama 3 采用了相对标准的仅解码器的 Transformer 架构，并使用了词汇量为 128K 的分词器。在预训练数据方面，Meta 收集了超过 15T 个令牌的数据，其中包括超过 30 种语言的高质量非英语数据。
此外，Meta 还开发了新的高质量人工评估集，包含 1800 个提示，涵盖 12 个关键用例。研究人员还开发了扩展定律，以预测模型在关键任务上的性能，并结合了数据并行化、模型并行化和管道并行化来训练最大的 Llama 3 模型。
为了确保模型的安全性，Meta 采用了系统级的方法，包括指令微调模型的内部和外部红队测试，以及 Llama Guard 2 和 Cybersec Eval 2 等安全工具的更新。Meta 还引入了 Code Shield，用于过滤由 LLM 生成的不安全代码。
Meta 计划发布具有超过 400B 参数的最大模型，并在接下来的几个月中发布具有新功能的多个模型。此外，Meta 正在更新《负责任使用指南》（RUG），以提供使用 LLM 进行负责任开发的全面指南。
Llama 3 模型现已在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等平台上上线，更多平台的支持即将到来。更多信息可在 Llama 3 官方网站上查看。
文章来源
原文地址: 点我阅读全文
原文作者: AIGC最前线
相关文章
