极市直播回放第131期丨三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR’24 Oral）

今日应用

火龙果写作

火龙果写作（Pitaya），一款集纠错校对、改写润色、原创续写和实时翻译于一体的AI智能写作工具，让写作变得更加轻松高效。

今日话题

极市直播回放第131期丨三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR’24 Oral）

 

重点标签 深度学习、数据集压缩、动态剪枝、无损训练、ICLR 2024

文章摘要

步骤2：撰写摘要总结

本文介绍了新加坡国立大学博士生秦紫恒在ICLR 2024上发表的Oral论文《InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning》。随着深度学习网络参数量和数据集规模的增长，算力需求不断上升，如何节省训练成本成为了一个重要问题。现有的数据集压缩方法和加权抽样方法存在一定的局限性，难以在实际应用中真正帮助节省计算资源。

为了解决这一问题，研究者提出了InfoBatch框架，该框架通过动态剪枝采样方法根据网络对样本的拟合情况进行迭代，并利用重缩放技术维持剪枝后的梯度更新期望。这种方法在性能无损的情况下提高了训练效率，加快了训练速度。在多个数据集和任务上，InfoBatch实现了显著的开销节省，例如在CIFAR10/100、ImageNet-1K、ADE20K、YOLOv8、MAE预训练、FFHQ图片生成和LLaMA指令微调上分别节省了40%、30%、24.8%、27%和20%的开销。

此外，InfoBatch与现有的静态压缩方法DQ和LoRA兼容，已经引起了多家头部云计算服务公司的关注。极市平台邀请了秦紫恒博士生分享他们的研究成果，并提供了论文地址、GitHub链接和PPT内容截图。同时，极市平台还提供了往期视频在线观看链接和CV技术社群邀请函，鼓励读者加入技术交流群，与来自不同学校和公司的开发者互动交流。

论文地址： https://arxiv.org/abs/2303.04947
GitHub： https://github.com/NUS-HPC-AI-Lab/InfoBatch
极市直播预告： [极市直播预告｜三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR’24 Oral）](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=1425604183083892737#wechat_redirect)
回放视频： https://www.bilibili.com/video/BV1Mi421C7m5/

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台