今日应用
今日话题
国内最大MoE开源大模型来了,还基于此搞出个火遍港台的AI聊天应用
重点标签 MoE模型、开源、AI应用、元象XVERSE、技术革新
文章摘要
机器之心报道了元象XVERSE发布的中国最大的MoE(Mixture of Experts)开源模型——XVERSE-MoE-A36B。这一模型拥有255B的总参数和36B的激活参数,实现了在不显著增加训练和推理计算成本的情况下,达到100B模型性能的跃升。与同类模型相比,元象MoE在多个权威评测中表现优异,超越了国内外多个同类模型。
元象XVERSE的MoE模型通过高性能全家桶系列的开源,无条件免费商用,使得中小企业、研究者和开发者能够根据需求选择使用。MoE架构通过组合多个细分领域的专家模型,打破了传统扩展定律的局限,实现了在扩大模型规模时保持模型性能最大化的目标。
元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo,在港台地区取得了显著的商业成功,下载量在中国台湾和香港娱乐榜上分别位列第一和第三。此外,元象还与腾讯音乐等合作伙伴在文化、娱乐、旅游、金融等领域进行了深度合作,推动了大模型的商用进程。
在技术创新方面,元象自研MoE的高效训练和推理框架,并在XVERSE-MoE-A4.2B中推动了MoE专家架构的革新。通过更细粒度的专家设计和专家路由与预丢弃策略,提高了模型的灵活性和性能。同时,通过动态数据切换和学习率调度策略的优化,进一步提升了模型的训练效果。
元象XVERSE的MoE模型在训练时间上减少了30%,推理性能提升了100%,达到了业界领先水平,为AI应用的低成本部署提供了强有力的支持。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...