2万亿训练数据,120亿参数!开源大模型Stable LM 2-12B

AI最新资讯1个月前发布 tree
38 0 0

今日应用


今日话题


2万亿训练数据,120亿参数!开源大模型Stable LM 2-12B
2万亿训练数据,120亿参数!开源大模型Stable LM 2-12B
 

重点标签 AIGC大模型Stable LM 2多语言性能测试

文章摘要


Stable LM 2架构采用Transformer,共24层,32个自注意力头,使用大量公开数据集进行预训练。Stability.ai使用了一种称为“FlashAttention-2”的高效序列并行优化技术和监督微调、直接偏好优化、自我知识学习等方法进行模型训练和微调。

性能测试方面,StableLM 2 1.6B在多个测试平台上表现优异,尤其在零样本和少样本基准测试中名列前茅。Stable LM 2 12B的性能超过了一些知名开源同类小参数模型,略低于更大的模型。多语言基准测试显示,StableLM 2 1.6B在不同语种任务上表现良好。多轮对话基准测试中,StableLM 2 1.6B与其他规模更大的模型相比,得分相当,在某些指标上甚至更高。

文章最后声明,素材来源为Stability.ai官网,如有侵权请联系删除。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...