本文提出了一种基于改进的交叉注意 STF (CASTF) 的融合方法,以突破两幅图像输入成像质量较差的限制。CASTF 通过以下改进来提高融合质量:(1) 精心设计混合交叉注意机制,以捕获不同传感器图像之间的更深层信息; (2) 将傅里叶变换与混合注意力机制相结合,提升模型效率;(3) 采用多尺度 swin-transformer 有效地提取和融合不同图像不同尺度的特征;(4) 设计差异注入模块和共性交互模块,有效保留不同模态之间的互补信息。
点击空白处退出提示
语言技术
Torch演示地址
https://github.com/like-ke/spatiotemporal-fusion
本文提出了一种基于改进的交叉注意 STF (CASTF) 的融合方法,以突破两幅图像输入成像质量较差的限制。CASTF 通过以下改进来提高融合质量:(1) 精心设计混合交叉注意机制,以捕获不同传感器图像之间的更深层信息; (2) 将傅里叶变换与混合注意力机制相结合,提升模型效率;(3) 采用多尺度 swin-transformer 有效地提取和融合不同图像不同尺度的特征;(4) 设计差异注入模块和共性交互模块,有效保留不同模态之间的互补信息。




评论