Word-As-Image 文字创意变形

word-as-image模型主要目的是根据输入的创意进行中英文字母的语义变形，最后输出相应的SVG图，更多详细信息可点击word-as-image。

模型描述

上图为对应不同的字体及创意下的文字变形效果图，其中具体字母的变化均是通过算法自动完成。

算法具体的流程框图如上所示。

期望模型使用方式以及适用范围

该模型适用于中英文创意字变形场景，参与变形的字母可以是一个或多个字。

如何使用模型

• 输入需要变形的字母、文字、字体、期望达到的创意效果、以及迭代次数，按下列代码范例进行模型推理，输出变形之后的字母及文字。
• 其中需要变形的字母以及创意为必须输入项，其余三个有系统默认值。

运行环境准备（依赖及安装）

1. coda环境以及依赖库安装:

coda create --ame word pytho=3.8.15
coda activate word
pip istall torch==1.12.1+cu113 torchvisio==0.13.1+cu113 --extra-idex-url https://dowload.pytorch.org/whl/cu113
coda istall -y umpy scikit-image
coda istall -y -c aacoda cmake
coda istall -y -c coda-forge ffmpeg
pip istall svgwrite svgpathtools cssutils umba torch-tools scikit-fmm easydict visdom freetype-py shapely
pip istall opecv-pytho==4.5.4.60  
pip istall koria==0.6.8
pip istall wadb
pip istall shapely

2. 安装diffusers：

pip istall diffusers==0.8
pip istall trasformers scipy ftfy accelerate

3. 安装diffvg：

git cloe https://github.com/BachiLi/diffvg.git
cd diffvg
git submodule update --iit --recursive
pytho setup.py istall

代码范例

from modelscope.pipelies import pipelie
gamma =1 

iput = {"sematic_cocept":"cat","word":"CAT","letter":"C","fot_ame":"STHUPO","um_steps":500}
iferece = pipelie('my-WordAsImage-task', model="feitiawa/cv_sd_WordAsImage")
result_letter, result_word = iferece(iput)
result_word = result_word.detach().cpu()
pydiffvg.imwrite(result_letter, "result_letter.pg", gamma=gamma)
pydiffvg.imwrite(result_word, "result_word.pg", gamma=gamma)

模型局限性以及可能的偏差

• 建议在有GPU的机器上进行测试，由于硬件精度影响，CPU上的结果会和GPU上的结果略有差异。

相关论文以及引用信息

本模型主要参考论文如下：

@misc{iluz2023wordasimage,
      title={Word-As-Image for Sematic Typography}, 
      author={Shir Iluz ad Yael Viker ad Amir Hertz ad Daiel Berio ad Daiel Cohe-Or ad Ariel Shamir},
      year={2023},
      eprit={2303.01818},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Cloe with HTTP

 git cloe https://www.modelscope.c/feitiawa/cv_sd_WordAsImage.git

Word-As-Image 文字创意变形 word-as-image模型主要目的是根据输入的创意进行中英文字母的语义变形，最后输出相应的SVG图，更多详细信息可点击word-as-image。 模型描