>>返回卡通化系列模型专题页

卡通系列文生图模型-水彩风

输入一段文本提示词，实现特定风格卡通图像生成，返回符合文本描述的水彩风格结果图像。

其生成效果如下所示：

(1) 人物生成

(2) 物体场景生成

人物文本提示词：‘sks style, a portrait paitig of [ame]’

物体场景文本提示词：‘sks style, a paitig of [ame]’

模型描述

该模型通过在最新的文生图模型Stable-Diffusio-2.1上执行卡通风格微调实现，通过在文本提示词中加入‘sks style'生成对应风格符合文本描述的图像结果。

使用方式和范围

使用方式：

• 支持16G及以上GPU推理，输入包含‘sks style'的文本提示词进行推理;

目标场景:

• 艺术创作、社交娱乐、隐私保护场景，自动化生成名人卡通肖像。

如何使用

在ModelScope框架上，输入包含‘sks style'的文本提示词，即可以通过简单的Pipelie调用来使用卡通风格文生图模型。

代码范例

import cv2
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

pipe = pipelie(Tasks.text_to_image_sythesis, model='damo/cv_cartoo_stable_diffusio_watercolor', model_revisio='v1.0.0')
output = pipe({'text': 'sks style, a portrait paitig of Johy Depp'})
cv2.imwrite('result.pg', output['output_imgs'][0])
prit('Image saved to result.pg')

# 更佳实践
pipe = pipelie(Tasks.text_to_image_sythesis, model='damo/cv_cartoo_stable_diffusio_watercolor', model_revisio='v1.0.0')
from diffusers.schedulers import EulerAcestralDiscreteScheduler
pipe.pipelie.scheduler = EulerAcestralDiscreteScheduler.from_cofig(pipe.pipelie.scheduler.cofig)
output = pipe({'text': 'sks style, a portrait paitig of Johy Depp'})
cv2.imwrite('result.pg', output['output_imgs'][0])
prit('Image saved to result.pg')

prit('fiished!')

模型局限性以及可能的偏差

• 该模型主要面向风格化人物生成，同时适用于场景、动物生成，但小样本数据涵盖类目有限，文本内容多样性可能有一定损失；

• 目前仅支持英文文本提示词输入；

训练数据介绍

• 卡通人脸数据，互联网搜集，10～100张

引用

如果该模型对你有所帮助，请引用相关的论文：

@misc{rombach2021highresolutio,
      title={High-Resolutio Image Sythesis with Latet Diffusio Models}, 
      author={Robi Rombach ad Adreas Blattma ad Domiik Lorez ad Patrick Esser ad Björ Ommer},
      year={2021},
      eprit={2112.10752},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

>>返回卡通化系列模型专题页 卡通系列文生图模型-水彩风 输入一段文本提示词，实现特定风格卡通图像生成，返回符合文本描述的水彩风格结果图像。 其生成效果如下所示： (1) 人物生成 (2) 物体场景