马斯克大模型Grok1.5来了:推理能力大升级,支持128k上下文

AI最新资讯3个月前发布 tree
51 0 0

今日应用


今日话题


马斯克大模型Grok-1.5来了:推理能力大升级,支持128k上下文
马斯克大模型Grok1.5来了:推理能力大升级,支持128k上下文
 

重点标签 Grok-1.5xAI大模型长上下文推理能力

文章摘要


Grok-1.5的一个重要升级是其能够处理长达128K token的长上下文,这是之前版本的16倍。这使得模型能够利用更长的文档信息,并在处理复杂提示时保持指令跟踪能力。在大海捞针(NIAH)评估中,Grok-1.5展示了其在长上下文中的检索能力。

为了训练Grok-1.5,xAI使用了基于JAX、Rust和Kubernetes的自定义分布式训练框架。该框架旨在提高训练作业的可靠性和正常运行时间,通过自动检测问题节点并优化检查点、数据加载和训练作业重新启动等。

Grok-1.5的发布是马斯克寻求替代微软支持的OpenAI和Google大模型的一步。去年12月,xAI为X的Premium+订阅者推出了Grok。未来几天,Grok-1.5将向早期测试者开放,团队将继续改进Grok,并在新版本推向公众时推出新功能。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...