标签:预训练

ICLR 2024 spotlight | 基础模型时代的全新研究方向:灾难性继承与噪音模型学习

极市导读:本文首次深入探讨了预训练数据中的噪声对下游任务性能的影响,原因及其缓解方法。提出了新研究方向:灾难性继承,即理解、解释及消除大模型的继承...

苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人

苹果公司在生成式人工智能(GenAI)领域的投入和重视程度不断提升,特别是在多模态基础模型的研发上。苹果CEO蒂姆·库克在2024年的股东大会上宣布,公司将在Ge...