Google开源大模型新成员CodeGemma、RecurrentGemma，继Transformer后新架构Griffin诞生

今日应用

wowto

Free Video Knowledge Base Software | WowTo

今日话题

Google开源大模型新成员CodeGemma、RecurrentGemma，继Transformer后新架构Griffin诞生

 

重点标签 Gemma、CodeGemma、RecurrentGemma、Griffin架构、机器学习

文章摘要

CodeGemma 旨在为开发者和企业提供代码补全、生成和聊天服务。它利用 Gemma 模型的基础，为社区带来了强大而轻量级的编码能力。CodeGemma 的优势包括：
– 智能代码补全和生成，能够完成代码行、函数，甚至整个代码块；
– 在大量英语语言数据上进行训练，提高了代码的语法和语义准确性；
– 支持多种编程语言，包括 Python、JavaScript 和 Java；
– 通过集成到开发环境中，减少样板代码编写，提高开发效率。

RecurrentGemma 专注于为研究人员提供高效、快速的推断能力。它采用了独特的循环神经网络和本地注意力机制，以提高内存效率。RecurrentGemma 在保持与 Gemma 2B 模型相似的基准分数性能的同时，实现了降低内存使用、提高吞吐量和推动研究创新的优势。

RecurrentGemma 基于新架构 Griffin，其在多个规模上的基准得分均优于 Transformers 基线。Griffin 架构在推断长文本时还提供了效率优势，具有更快的推断速度和更低的内存使用率。有关 Griffin 的更多信息可以在 Huggingface 上找到其 2B 版本的性能数据。

参考链接：
– Google Developers Blog: [Gemma 家族扩展](https://developers.googleblog.com/2024/04/gemma-family-expands.html)
– Griffin 论文: [arXiv 链接](https://arxiv.org/abs/2402.19427)

文章来源

原文地址: 点我阅读全文
原文作者: AIGC最前线