谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!

今日应用


今日话题


谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
 

重点标签 AI技术Gemma 2谷歌性能提升模型创新

文章摘要


谷歌近期推出了Gemma 2,这是其轻量级SOTA开放模型系列的新成员,旨在为每个人提供构建AI的工具。Gemma 2提供了90亿和270亿参数的两个版本,相较于第一代,在推理性能、效率和安全性方面都有显著提升。270亿参数版本尤其引人注目,它能够与体积超过其两倍的模型竞争,同时提供之前只有专有模型才能实现的性能。这种性能可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现,大幅降低了部署成本。

Gemma 2的架构由谷歌团队重新设计,以确保卓越的性能和高效的推理能力。它在同体积类别中提供了最佳性能,并且设计用于在各种硬件上以高速运行,无论是游戏笔记本、高端台式机还是云设置。此外,Gemma 2的27B模型能够在单个Google Cloud TPU主机或NVIDIA Tensor Core GPU上以全精度运行,保持高性能的同时降低成本。

Gemma 2不仅性能强大,还易于集成到工作流程中。它开放且易于访问,允许开发者和研究人员共享和商业化创新成果。Gemma 2与主要AI框架兼容,如Hugging Face Transformers,并通过Keras 3.0、vLLM等原生支持JAX、PyTorch和TensorFlow。谷歌还提供了Gemma Cookbook,帮助开发者构建自己的应用程序并针对特定任务微调Gemma 2模型。

谷歌在博客中宣布,向所有开发者开放了Gemini 1.5 Pro的200万token上下文窗口访问权限,并在Gemini API中推出了上下文缓存功能,以减少多prompt任务成本。此外,Gemini 1.5 Pro和1.5 Flash中增加了代码执行功能,使模型能够动态生成并运行Python代码,提高准确性。

Gemma 2的技术细节包括基于仅解码器的transformer架构,局部滑动窗口和全局注意力的交替使用,Logit软封顶,以及分组查询注意力等。模型在大量英文数据上进行了预训练,并在后训练中进行了指令调整模型的微调。实验评估表明,Gemma 2在性能上优于其他同类模型,并且在多轮对话能力上得到了用户的高度评价。

总的来说,Gemma 2的推出进一步巩固了谷歌在AI技术领域的领导地位,为开发者提供了更高效、低成本的AI部署解决方案,同时也推动了AI技术的普及和应用。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...