极市直播回放第131期丨三行代码,即插即用!InfoBatch:无损数据集动态剪枝加速(ICLR’24 Oral)

AI最新资讯2周前发布 tree
18 0 0

今日应用


今日话题


极市直播回放第131期丨三行代码,即插即用!InfoBatch:无损数据集动态剪枝加速(ICLR’24 Oral)
极市直播回放第131期丨三行代码,即插即用!InfoBatch:无损数据集动态剪枝加速(ICLR’24 Oral)
 

重点标签 深度学习数据集压缩动态剪枝无损训练ICLR 2024

文章摘要


步骤2:撰写摘要总结

本文介绍了新加坡国立大学博士生秦紫恒在ICLR 2024上发表的Oral论文《InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning》。随着深度学习网络参数量和数据集规模的增长,算力需求不断上升,如何节省训练成本成为了一个重要问题。现有的数据集压缩方法和加权抽样方法存在一定的局限性,难以在实际应用中真正帮助节省计算资源。

为了解决这一问题,研究者提出了InfoBatch框架,该框架通过动态剪枝采样方法根据网络对样本的拟合情况进行迭代,并利用重缩放技术维持剪枝后的梯度更新期望。这种方法在性能无损的情况下提高了训练效率,加快了训练速度。在多个数据集和任务上,InfoBatch实现了显著的开销节省,例如在CIFAR10/100、ImageNet-1K、ADE20K、YOLOv8、MAE预训练、FFHQ图片生成和LLaMA指令微调上分别节省了40%、30%、24.8%、27%和20%的开销。

此外,InfoBatch与现有的静态压缩方法DQ和LoRA兼容,已经引起了多家头部云计算服务公司的关注。极市平台邀请了秦紫恒博士生分享他们的研究成果,并提供了论文地址、GitHub链接和PPT内容截图。同时,极市平台还提供了往期视频在线观看链接和CV技术社群邀请函,鼓励读者加入技术交流群,与来自不同学校和公司的开发者互动交流。

论文地址: https://arxiv.org/abs/2303.04947
GitHub: https://github.com/NUS-HPC-AI-Lab/InfoBatch
极市直播预告: [极市直播预告|三行代码,即插即用!InfoBatch:无损数据集动态剪枝加速(ICLR’24 Oral)](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=1425604183083892737#wechat_redirect)
回放视频: https://www.bilibili.com/video/BV1Mi421C7m5/

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...