多主干视觉语言模型融合开源项目

DualBackboneFusion 项目简介

DualBackboneFusion 是一个面向 CLIP Prompt Transfer 的双视觉主干融合研究项目，核心目标是验证较弱的 RN101 视觉主干是否能为较强的 ViT-B/16 主干提供互补预测信息。项目不直接融合 image embedding，而是在 prediction / logit 层进行后融合，以尽量保留各 backbone 原有的 CLIP image-text alignment space。