今日应用
今日话题
微软Win11中发现国产开源大模型!RWKV官方:没人给我钱啊?现在捐赠还来得及
文章摘要
微软正在尝试在其Office套件中集成国产开源大模型RWKV,这一消息引起了广泛关注。RWKV是一个由27家大学、研究机构和公司的研究人员组成的团队开发的新型架构,旨在挑战传统的Transformer模型。最新版Windows 11系统中的Office文件夹被发现包含以rwkv命名的DLL文件,这表明微软可能已经开始在Office中集成RWKV模型。
RWKV模型的优势在于其支持100多种语言,有利于全球化部署,并且与传统Transformer模型相比,运行能耗低得多,能够在各种设备上高效运行。微软可能将RWKV用于正在测试的本地Copilot、memory recall等功能,这些功能在专为AI重构的新版Windows 11上都是实时的。微软引入了全新的系统架构,将CPU、GPU和新的高性能神经处理单元NPU结合在一起,NPU负责在后台实时运行AI。
RWKV的设计灵感来自苹果21年的研究《An Attention Free Transform》,团队意识到如果在公式中使用循环矩阵就可以将网络结构写成RNN。与GPT系列的时间复杂度O(n^2)相比,RNN的时间复杂度只有O(n),空间复杂度是O(1)。这意味着生成内容的速度不会随长度而夸张增涨,显存占用也是恒定的。
RWKV的开山论文背后是由来自27家大学、研究机构和公司的研究人员组成的团队,作者达30人。共同一作彭博(Peng Bo),毕业于香港大学物理系,编程经验20+年,曾在世界最大外汇对冲基金之一Ortus Capital就职,负责高频量化交易。他还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。
今年,RWKV又上新推出了两种新架构模型:Eagle (RWKV-5) 、Finch(RWKV-6)。这两种序列模型以RWKV-4架构为基础,在多头矩阵值状态和动态递归机制上做了改进,提高了RWKV模型的表达能力,同时保持RNN的推理效率特征。同时,新架构引入了一个新的多语言语料库,包含1.12万亿个token。团队还基于贪婪匹配开发了一种快速的分词器,以增强RWKV的多语言性。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台