2万亿训练数据，120亿参数！开源大模型Stable LM 2-12B

今日应用

PaperBetter论文查重

PaperBetter论文助手汇集多种学术不端文献检测系统及AI降重系统，以及包含论文全文、开题报告、任务书在内的多种AI智能写作系统，提供高校使用的官网论文检测入口，包含知网查重、维普查重、源文鉴查重系统 、万方检测、PaperPass等各种官方查重软件，检测结果与学校一致！

今日话题

2万亿训练数据，120亿参数！开源大模型Stable LM 2-12B

 

重点标签 AIGC、大模型、Stable LM 2、多语言、性能测试

文章摘要

Stable LM 2架构采用Transformer，共24层，32个自注意力头，使用大量公开数据集进行预训练。Stability.ai使用了一种称为“FlashAttention-2”的高效序列并行优化技术和监督微调、直接偏好优化、自我知识学习等方法进行模型训练和微调。

在性能测试方面，StableLM 2 1.6B在多个测试平台上表现优异，尤其在零样本和少样本基准测试中名列前茅。Stable LM 2 12B的性能超过了一些知名开源同类小参数模型，略低于更大的模型。多语言基准测试显示，StableLM 2 1.6B在不同语种任务上表现良好。多轮对话基准测试中，StableLM 2 1.6B与其他规模更大的模型相比，得分相当，在某些指标上甚至更高。

文章最后声明，素材来源为Stability.ai官网，如有侵权请联系删除。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区