文本指导的分割模型

• 此模型在文本分割数据集上进行训练，根据文本将图像中对应文本描述的物体分割出来。
• 模型在fss1000通用分割数据测试集上进行了zero shot测试。

模型结构信息

• 模型结构为Lseg结构，视觉ecoder采用vit-large-patch16结构。
• 参考：https://github.com/isl-org/lag-seg

使用方式和范围

如何使用

• 直接推理，根据输入的文本描述对图像进行分割
• 用户可根据自身场景特点，收集自己的数据进行fie-tue

代码范例

# Copyright (c) Alibaba, Ic. ad its affiliates.
from modelscope.outputs import OutputKeys
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iput_locatio = 'https://clip-multimodal.oss-c-beijig.aliyucs.com/xigguag/maas/data/text_drive_seg_demo.jpg'
test_iput = {
            'image': iput_locatio,
            'text': 'bear',
        }
model_id = 'damo/cv_vitl16_segmetatio_text-drive-seg'
shop_seg = pipelie(Tasks.text_drive_segmetatio, model=model_id)
result = shop_seg(test_iput)
import cv2
# result[OutputKeys.MASKS] is segmet map result,other keys are ot used
cv2.imwrite('demo_textdriveseg.jpg', result[OutputKeys.MASKS])

• 输入图像：
• 输入英文文本：bear
• 输出图像：

使用场景

• 适用于文本指导的语义分割

模型局限性以及可能的偏差

• 模型在通用场景数据集上训练，对于特定业务场景，比如商品效果较差，请用户自行评测后决定如何使用。
• 文本输入范围建议参考fss1000数据集的类别，对于其他文本输入可能效果较差。
• 由于是在粗标注数据集上进行的训练、因此模型精度建议结合具体场景评估后再使用。

训练数据

训练数据共约20w通用分割粗标注数据。

模型训练

预处理

• 图像输入：将长边resize到640分辨率，长宽比不变，对短边zero paddig到640分辨率.
• 文本输入：英文文本描述要分割的物体，比如"bear"

数据评估及结果

该模型在fss1000数据测试集上zero shot iou: 85.14.

相关论文以及引用信息

@iproceedigs{
li2022laguagedrive,
title={Laguage-drive Sematic Segmetatio},
author={Boyi Li ad Kilia Q Weiberger ad Serge Belogie ad Vladle Koltu ad Ree Raftl},
booktitle={Iteratioal Coferece o Learig Represetatios},
year={2022},
url={https://opereview.et/forum?id=RriDjddCLN}
}

文本指导的分割模型 此模型在文本分割数据集上进行训练，根据文本将图像中对应文本描述的物体分割出来。 模型在fss1000通用分割数据测试集上进行了zero shot测试。 模型结构信息 模型结构