标签:SMoE

微软让MoE长出多个头,大幅提升专家激活率

步骤2:撰写摘要近日,微软研究院和清华大学提出了一种新的模型——多头混合专家(MH-MoE),旨在解决现有混合专家模型中的一些问题。混合专家(MoE)是一种支...