项目描述：基于用户query文本的多模态召回问题，利用query和商品图片特征（单个图片包含w，h，多box特征和box的label）对候选商品排序。最终提交测试数据中的每个query的候选5个商品，即是一个跨模态检索问题。项目主要贡献：利用query和商品图片特征对候选商品排序，对训练集（正例）构造负样本，构造线下训练集，1)图片特征：映射图片box位置特征与图片特征相加，box的label进行embedding，拼接后进行序列表示。2)query特征：获取预训练Bert模型得到的查询词embedding向量。两类特征拼接后叠加全连接层完成分类任务，线下多个单模型(不同负样本生成策略，不同训练量等)训练，最终对多模型进行融合，完成算法的设计和实现，最终赛道榜单第20名(Top1%)。