今日应用
今日话题
Unet 与 TransUnet 架构结合,模型保持CNN的局部特征,利用 Transformer 进行图像分割!
重点标签 Trans2Unet、细胞核分割、Unet、TransUnet、WASP-KC
文章摘要
细胞核分割在癌症诊断中具有关键作用,但存在挑战,特别是在处理重叠区域时。传统的Unet网络虽然在医学图像分割任务中表现出色,但受限于卷积操作的局部性,难以捕捉远程相互关系。相比之下,基于Transformer的模型能够进行全局计算,但可能缺乏低层细节。TransUnet通过结合CNN和Transformer,增强了空间信息和全局上下文。
Trans2Unet架构通过两个主要分支工作:Unet分支和TransUnet分支。Unet分支去除最后的卷积层,以结合不同区域的特征;TransUnet分支则将图像划分为块,并通过ViT编码器增强细节。作者还引入了WASP-KC模块,这是一种计算效率更高的变体,灵感来源于WASP模块。
实验结果表明,Trans2Unet在2018年数据科学碗挑战数据集上取得了优异的准确性,DSC和IoU值分别为0.9225和0.8613。这一结果与其他SOTA架构相比具有竞争力,证明了Trans2Unet在细胞核分割任务中的有效性。
文章还讨论了相关工作,包括Unet、ViT、TransUnet、DeepLabv3+和WASP等模型。Unet以其编码器-解码器架构和跳跃连接在医学图像分割中取得成功。ViT作为NLP中的关键标准,在CV任务中仍存在限制。TransUnet作为Unet的升级版,首次将Transformer应用于CV任务。DeepLabv3+通过结合ASPP和编码器-解码器结构改进了分割目标边界。WASP作为一种高效的语义分割架构,通过级联结构中的逐步过滤,保持了多尺度视场。
Trans2Unet的提出,不仅提高了核细胞模型的效率,也为一般图像分割任务提供了一种新方法。通过结合Unet和TransUnet的优势,模型能够同时保持CNN的局部特征和利用Transformer的全局特征,实现更稳健的分割。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台