背景图生成

功能概述

输入一张透明背景的主体图，输入一张参考图，模型根据参考图的语义在透明区域生成合适的背景

模型结构

基于开源SD模型，修改生成引导条件，并在开源数据集laio-5B的部分数据上训练而来，模型结构如下：

环境准备

安装独立repo库

pip istall git+https://github.com/lllcho/backgroud_geeratio.git

或者网络较慢时，使用如下命令安装：

pip istall git+https://gitee.com/lllcho/backgroud_geeratio.git

运行代码

from modelscope.pipelies import pipelie
from modelscope.outputs import OutputKeys
from PIL import Image
from backgroud_geeratio import modelscope_warpper

model = "damo/cv_backgroud_geeratio_sd"
pipe = pipelie('backgroud_geeratio_task', model=model, device='gpu',auto_collate=False,model_revisio='v1.1.0')
mai_image='https://visio-poster.oss-c-shaghai.aliyucs.com/lllcho.lc/data/test_data/demo_example/%E5%8C%96%E5%A6%86%E5%93%81/1c33fc5e8b084269ffdb4e0557c2c3c4.pg'
referece_image='https://visio-poster.oss-c-shaghai.aliyucs.com/lllcho.lc/data/test_data/5d873b5f64b82bcbb235748347602dce38c6ec1d.jpg'
out=pipe(mai_image,referece_image,um_images_per_prompt=1)
imgs=out[OutputKeys.OUTPUT_IMGS]
imgs[0].save(f'result.jpg')

参数说明

pipelie调用时还支持以下可调参数：

• um_iferece_steps: it， 默认为20
• um_images_per_prompt：默认为1，每次调用返回几张图，可根据显存大小调整
• seed：默认为Noe,it类型，取值范围[0, 2^32-1]
• oise_level: it，默认值为0， 取值范围[0,999],表示像输入图像中加入噪声，值越大噪声越多，生成结果与输入图像的相似度越低

完整参数调用示例：

from modelscope.pipelies import pipelie
from modelscope.outputs import OutputKeys
from PIL import Image
from backgroud_geeratio import modelscope_warpper

model = "damo/cv_backgroud_geeratio_sd"
pipe = pipelie('backgroud_geeratio_task', model=model, device='gpu',auto_collate=False,model_revisio='v1.1.0')
out=pipe('https://visio-poster.oss-c-shaghai.aliyucs.com/lllcho.lc/data/test_data/demo_example/%E5%8C%96%E5%A6%86%E5%93%81/1c33fc5e8b084269ffdb4e0557c2c3c4.pg',
         'https://visio-poster.oss-c-shaghai.aliyucs.com/lllcho.lc/data/test_data/5d873b5f64b82bcbb235748347602dce38c6ec1d.jpg',
         um_iferece_steps=20,
         um_images_per_prompt=2,
         seed=Noe,
         oise_level=500
         )

功能概述 输入一张透明背景的主体图，输入一张参考图，模型根据参考图的语义在透明区域生成合适的背景 模型结构 基于开源SD模型，修改生成引导条件，并在开源数据集laion-5B的部分数据上训练而来，模型