今日应用
今日话题
ECCV2024 | 基于事件相机的运动放大
重点标签 双摄像头系统、视频运动放大、事件相机、高频运动、运动放大技术
文章摘要
本文介绍了一种创新的双摄像头系统，该系统结合了事件摄像头和传统RGB摄像头，用于实现视频运动放大。这种技术能够捕捉并放大微小的高频运动，对于工业和医疗等领域具有重要意义。文章详细阐述了系统的设计理念、模型结构、数据集构造以及实验结果。
1. 双摄像头系统：由事件摄像头和RGB摄像头组成，能够捕捉时间密集信息和空间密集数据，实现对高频运动的广泛且经济高效的放大。
2. 运动放大技术：对于微小的高频运动，传统相机系统由于帧率限制，难以捕捉其快速变化。事件相机（EVS）作为一种新型仿生相机，通过记录每个像素点的亮度变化，具有高时间分辨率，能够捕捉快速运动。
3. 模型设计：系统模型包括编码器、操控器和解码器三个部分。编码器采用二阶递归传播策略提取特征，操控器提取隐式运动表示，解码器重建高帧率的运动放大RGB视频。
4. 数据集构造：开发了首个包含事件信号和RGB信号的亚像素运动数据集SM-ERGB，包括合成数据集和实拍数据集，为该领域建立benchmark。
5. 实验结果：在仿真数据集SM-ERGB-Synth上进行了定量对比，证明了所提出网络在数据量较少的情况下能够获得更好的运动放大效果。在实拍数据集SM-ERGB-Real上，通过可视化对比展示了方法的有效性，如在110Hz吉他弦和256Hz音叉上恢复正确的运动频率和波形一致性。
这项工作为高频运动放大领域提供了一种新的解决方案，通过双摄像头系统的创新组合，实现了对微小运动的精确捕捉和放大，具有广泛的应用前景。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。