基础视觉模型高效调优：Structured Model Probig (SMP)

Structured Model Probig (SMP) 是一种适用于基础模型的下游任务迁移的高效方法，可大幅减少任务迁移模型调优过程中对基础模型的前向、反向传播，从而降低训练开销。

方法描述

传统基于基础模型精调的方法涉及到对基础模型全部参数的更新，大幅增加训练开销；同时，基础模型的预训练数据与下游任务存在域相似度差异，影响不同任务的迁移性能。Structured Model Probig (SMP) 对基础模型进行结构化特征抽取，训练外置小型探针模型，从而节省训练开销；此外，基于结构化特征选择正则与线性探针模型参数度量，自动判断迁移任务难易，并自适应决定非线性探针模型复杂度，从而在域相似度不同的下游任务上均能取得较好效果。基本框架如下图所示：

SMP 框架示意图

• 结构化特征提取：对基础模型特征进行完整的结构化提取，为探针模型提供丰富且多样的特征；
• 结构化正则：对探针模型进行结构化正则，通过结构化特征选择正则控制线性探针模型的复杂度，以判断下游任务难易，并基于此控制非线性模型复杂度。

期望模型使用方式以及适用范围

目前，本仓库所开源的模型提供了以下任务支持：

• 图像分类 Food-101

如何使用

基于 ModelScope 框架，通过调用预定义的 Pipelie 可实现快速调用（目前支持语义分割任务）。

代码示例

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

recogitio_pipelie = pipelie(Tasks.image_classificatio, 'damo/structured_model_probig')
file_ame = 'https://modelscope.oss-c-beijig.aliyucs.com/test/images/image_structured_model_probig_test_image.jpg'
result = recogitio_pipelie(file_ame)
prit(f'recogitio output: {result}.')

模型局限性及可能造成的偏差

本模型基于公开的通用数据集训练，且仅适用于训练数据的覆盖类别，在具体应用场景下可能存在偏差。

训练数据介绍

1. Food-101 细粒度食物分类数据集，包含 101 个类别。

数据评估及结果

论文引用

如果你觉得本模型有所帮助，请考虑引用下面的相关论文

@iproceedigs{smp2023,
    title = {Structured Model Probig: Empowerig Efficiet Adaptatio by Structured Regularizatio},
    author = {Zhi-Fa Wu, Chaojie Mao, Xue Wag, Jiawe Jiag, Yiliag Lv, Rog Ji},
    year = {2023},
}

基础视觉模型高效调优：Structured Model Probing (SMP) Structured Model Probing (SMP) 是一种适用于基础模型的下游任务迁移的高效方法，可大幅减