Google开源大模型新成员CodeGemma、RecurrentGemma,继Transformer后新架构Griffin诞生

AI最新资讯8个月前发布 tree
106 0 0

今日应用


今日话题


Google开源大模型新成员CodeGemmaRecurrentGemma,继Transformer后新架构Griffin诞生
Google开源大模型新成员CodeGemma、RecurrentGemma,继Transformer后新架构Griffin诞生
 

重点标签 GemmaCodeGemmaRecurrentGemmaGriffin架构机器学习

文章摘要


CodeGemma 旨在为开发者和企业提供代码补全、生成和聊天服务。它利用 Gemma 模型的基础,为社区带来了强大而轻量级的编码能力。CodeGemma 的优势包括:
– 智能代码补全和生成,能够完成代码行、函数,甚至整个代码块;
– 在大量英语语言数据上进行训练,提高了代码的语法和语义准确性;
– 支持多种编程语言,包括 Python、JavaScript 和 Java;
– 通过集成到开发环境中,减少样板代码编写,提高开发效率。

RecurrentGemma 专注于为研究人员提供高效、快速的推断能力。它采用了独特的循环神经网络和本地注意力机制,以提高内存效率。RecurrentGemma 在保持与 Gemma 2B 模型相似的基准分数性能的同时,实现了降低内存使用、提高吞吐量和推动研究创新的优势。

RecurrentGemma 基于新架构 Griffin,其在多个规模上的基准得分均优于 Transformers 基线。Griffin 架构在推断长文本时还提供了效率优势,具有更快的推断速度和更低的内存使用率。有关 Griffin 的更多信息可以在 Huggingface 上找到其 2B 版本的性能数据。

参考链接:
– Google Developers Blog: [Gemma 家族扩展](https://developers.googleblog.com/2024/04/gemma-family-expands.html)
– Griffin 论文: [arXiv 链接](https://arxiv.org/abs/2402.19427)

文章来源


原文地址: 点我阅读全文
原文作者: AIGC最前线

© 版权声明

相关文章

暂无评论

暂无评论...