Taiyi-Stable-Diffusio-1B-Chiese-v0.1

• Github: Fegshebag-LM
• Docs: Fegshebag-Docs
• API：Fegshe-OpeAPI

简介 Brief Itroductio

首个开源的中文Stable Diffusio动漫模型，基于100万筛选过的动漫中文图文对训练。训练细节可见开源版二次元生成器！IDEA研究院封神榜团队发布第一个中文动漫Stable Diffussio模型，更多text2img案例可见太乙动漫绘画使用手册1.0

The first ope source Chiese Stable diffusio Aime model, which was traied o M1 filtered Chiese Aime image-text pairs. See details i IDEA Research Istitute Fegshebag team released the first opesource Chiese aime Stable Diffussio model, see more text2img examples i Taiyi-Aime hadbook

模型分类 Model Taxoomy

模型信息 Model Iformatio

我们将两份动漫数据集(100万低质量数据和1万高质量数据)，基于IDEA-CCNL/Taiyi-Stable-Diffusio-1B-Chiese-v0.1 模型进行了两阶段的微调训练，计算开销是4 x A100 训练了大约100小时。该版本只是一个初步的版本，我们将持续优化并开源后续模型，欢迎交流。

We use two aime dataset(1 millio low-quality data ad 10k high-qualty data) for two-staged traiig the chiese aime model based our pretraied model IDEA-CCNL/Taiyi-Stable-Diffusio-1B-Chiese-v0.1. It takes 100 hours to trai this model based o 4 x A100. This model is a prelimiary versio ad we ~~will~~ update this model cotiuously ad ope sourse. Welcome to exchage！

Result

首先一个小窍门是善用超分模型给图片质量upup：

The first tip is to make good use of the super resolutio model to give the image quality a boost:

比如这个例子：

1个女孩,绿眼,棒球帽,金色头发,闭嘴,帽子,看向阅图者,短发,简单背景,单人,上半身,T恤
Negative prompt: 水彩,漫画,扫描件,简朴的画作,动画截图,3D,像素风,原画,草图,手绘,铅笔
Steps: 50, Sampler: Euler a, CFG scale: 7, Seed: 3900970600, Size: 512x512, Model hash: 7ab6852a

生成图片的图片是512 * 512（大小为318kb）：

在webui里面选择extra里的R-ESRGAN 4x+ Aime6B模型对图片质量进行超分：

就可以超分得到2048 * 2048（大小为2.6Mb）的超高清大图，放大两张图片就可以看到清晰的区别，512 * 512的图片一放大就会变糊，2048 * 2048的高清大图就可以一直放大还不模糊：

以下例子是模型在webui运行获得。

These example are got from a model ruig o webui.

首先是风格迁移的例子：

Firstly some img2img examples:

下面则是一些文生图的例子：

The Next are some text2img examples:

prompt1	prompt2
1个男生,帅气,微笑,看着阅图者,简单背景,白皙皮肤, 上半身,衬衫,短发,单人	1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣
户外,天空,云,蓝天,无人,多云的天空,风景,日出,草原	室内,杯子,书,无人,窗,床,椅子,桌子,瓶子,窗帘,阳光, 风景,盘子,木地板,书架,蜡烛,架子,书堆,绿植,梯子,地毯,小地毯
户外,天空,水,树,无人,夜晚,建筑,风景,反射,灯笼,船舶, 建筑学,灯笼,船,反射水,东亚建筑	建筑,科幻,城市,城市风景,摩天大楼,赛博朋克,人群
无人,动物,(猫:1.5),高清,棕眼	无人,动物,(兔子:1.5),高清,棕眼

使用 Usage

webui配置 Cofigure webui

非常推荐使用webui的方式使用本模型，webui提供了可视化的界面加上一些高级修图、超分功能。

It is highly recommeded to use this model i a webui way. webui provides a visual iterface plus some advaced retouchig features.

Taiyi Stable Difffusio WebUI

半精度 Half precisio FP16 (CUDA)

添加 torch_dtype=torch.float16 和 device_map="auto" 可以快速加载 FP16 的权重，以加快推理速度。 更多信息见 the optimizatio docs。

from modelscope.utils.costat import Tasks
from modelscope.pipelies import pipelie
import cv2

pipe = pipelie(task=Tasks.text_to_image_sythesis, 
                model='Fegshebag/Taiyi-Stable-Diffusio-1B-Aime-Chiese-v0.1',
                model_revisio='v1.0.0')

prompt = '1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣'
output = pipe({'text': prompt})
cv2.imwrite('result.pg', output['output_imgs'][0])

使用手册 Hadbook for Taiyi

• 太乙hadbook

• 太乙绘画手册v1.1

• 太乙动漫绘画手册v1.0

怎样微调 How to fietue

fietue code

DreamBooth

DreamBooth code

引用 Citatio

如果您在您的工作中使用了我们的模型，可以引用我们的总论文：

If you are usig the resource for your work, please cite the our paper:

@article{fegshebag,
  author    = {Jujie Wag ad Yuxiag Zhag ad Li Zhag ad Pig Yag ad Xiyu Gao ad Ziwei Wu ad Xiaoqu Dog ad Juqig He ad Jiaheg Zhuo ad Qi Yag ad Yogfeg Huag ad Xiayu Li ad Yagha Wu ad Juyu Lu ad Xiyu Zhu ad Weifeg Che ad Tig Ha ad Kuhao Pa ad Rui Wag ad Hao Wag ad Xiaoju Wu ad Zhogshe Zeg ad Chogpei Che ad Ruyi Ga ad Jiaxig Zhag},
  title     = {Fegshebag 1.0: Beig the Foudatio of Chiese Cogitive Itelligece},
  joural   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站:

You ca also cite our website:

@misc{Fegshebag-LM,
  title={Fegshebag-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fegshebag-LM}},
}

Taiyi-Stable-Diffusion-1B-Chinese-v0.1 Github: Fengshenbang-LM Docs: Fengshenbang-Docs API：Fengshen