今日应用
今日话题
谷歌「诚意之作」，开源9B、27B版Gemma2，主打高效、经济！
重点标签 AI技术、Gemma 2、谷歌、性能提升、模型创新
文章摘要
谷歌近期推出了Gemma 2，这是其轻量级SOTA开放模型系列的新成员，旨在为每个人提供构建AI的工具。Gemma 2提供了90亿和270亿参数的两个版本，相较于第一代，在推理性能、效率和安全性方面都有显著提升。270亿参数版本尤其引人注目，它能够与体积超过其两倍的模型竞争，同时提供之前只有专有模型才能实现的性能。这种性能可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，大幅降低了部署成本。
Gemma 2的架构由谷歌团队重新设计，以确保卓越的性能和高效的推理能力。它在同体积类别中提供了最佳性能，并且设计用于在各种硬件上以高速运行，无论是游戏笔记本、高端台式机还是云设置。此外，Gemma 2的27B模型能够在单个Google Cloud TPU主机或NVIDIA Tensor Core GPU上以全精度运行，保持高性能的同时降低成本。
Gemma 2不仅性能强大，还易于集成到工作流程中。它开放且易于访问，允许开发者和研究人员共享和商业化创新成果。Gemma 2与主要AI框架兼容，如Hugging Face Transformers，并通过Keras 3.0、vLLM等原生支持JAX、PyTorch和TensorFlow。谷歌还提供了Gemma Cookbook，帮助开发者构建自己的应用程序并针对特定任务微调Gemma 2模型。
谷歌在博客中宣布，向所有开发者开放了Gemini 1.5 Pro的200万token上下文窗口访问权限，并在Gemini API中推出了上下文缓存功能，以减少多prompt任务成本。此外，Gemini 1.5 Pro和1.5 Flash中增加了代码执行功能，使模型能够动态生成并运行Python代码，提高准确性。
Gemma 2的技术细节包括基于仅解码器的transformer架构，局部滑动窗口和全局注意力的交替使用，Logit软封顶，以及分组查询注意力等。模型在大量英文数据上进行了预训练，并在后训练中进行了指令调整模型的微调。实验评估表明，Gemma 2在性能上优于其他同类模型，并且在多轮对话能力上得到了用户的高度评价。
总的来说，Gemma 2的推出进一步巩固了谷歌在AI技术领域的领导地位，为开发者提供了更高效、低成本的AI部署解决方案，同时也推动了AI技术的普及和应用。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
