专治大模型说胡话,精确率100%!华科等提出首个「故障token」检测/分类方法

AI最新资讯1个月前发布 tree
18 0 0

今日应用


今日话题


专治大模型说胡话,精确率100%!华科等提出首个「故障token」检测/分类方法
专治大模型说胡话,精确率100%!华科等提出首个「故障token」检测/分类方法
 

重点标签 tag1大模型故障词元GlitchHunter分词器

文章摘要


摘要:
最新的研究GlitchHunter针对大型语言模型(LLM)中偶尔出现的故障词元问题,通过收集和分类大量故障词元,显著提升了大模型的输出质量。这项研究由华中科技大学、南洋理工大学等高校联合进行,已被软件工程领域国际顶级会议FSE 2024接收。研究团队首先对七种热门的大模型进行了实证研究,分析了十八万个不同的词元,并将其分为五个种类。研究发现故障词元在嵌入空间中有聚集效应,因此构建了GlitchHunter工具,该工具使用迭代聚类技术来识别潜在的故障词元群组。GlitchHunter的检测流程包括构建词元嵌入图、候选聚类、假设检验和更新迭代等步骤。评估结果显示,GlitchHunter在检测故障词元的准确性、精确度和召回率方面均优于其他方法,同时资源开销较低。未来工作将探讨故障词元出现的原因及修复方法,以完善大语言模型对每个词元的理解。

重点内容:
– 大型语言模型(LLM)中存在故障词元问题,影响模型输出质量。
– 研究团队对七种大模型进行实证研究,分析十八万个词元,分为五个种类。
– GlitchHunter工具使用迭代聚类技术识别故障词元群组。
– GlitchHunter在检测故障词元的准确性、精确度和召回率方面表现优异。
– 未来工作将探讨故障词元出现的原因及修复方法。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...