面向AIGC中文文生图模型的WebUI使用

背景信息

AIGC，即通过人工智能技术自动生成内容的生产方式，已经成为继互联网时代的下一个产业时代风口。其中，Stable Diffusion文生图模型是一种开源且流行的跨模态生成模型，旨在生成与给定文本对应的图像。然而，Stable Diffusion只支持英文Prompt作为模型的输入。为了解决这个问题，PAI自研了Chinese-Diffusion插件，通过在WebUI中加载该插件，可以实现采用中文Prompt作为输入的文图生成功能。

前提条件

• 已开通EAS并创建默认工作空间，详情请参见开通PAI并创建默认工作空间。

• 如果使用RAM用户来部署模型，需要为RAM用户授予EAS的管理权限，详情请参见云产品依赖与授权：EAS。

部署EAS模型服务

将Stable Diffusion模型部署为AI-Web应用服务，具体操作步骤如下：

1. 进入模型在线服务页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务，在自定义模型部署区域，单击自定义部署。

3. 在新建服务页面，配置以下关键参数。

   参数	描述
   服务名称	自定义服务名称。本案例使用的示例值为：sdwebui_prompt。
   部署方式	选择镜像部署AI-Web应用。
   镜像选择	在PAI平台镜像列表中选择stable-diffusion-webui；镜像版本选择4.0-standard。 说明 由于版本迭代迅速，部署时镜像版本选择最高版本即可。
   运行命令	系统会自动配置运行命令，您需要在运行命令中添加--public-cache。示例如下：./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --api-log --time-log --sd-dynamic-cache --public-cache。
   资源组种类	选择公共资源组。
   资源配置方法	选择常规资源配置。
   资源配置选择	必须选择GPU类型，实例规格推荐使用ml.gu7i.c16m60.1-gu30（性价比最高）。

   

4. 单击部署，大约等待5分钟后即可完成模型部署。

启动WebUI进行模型推理

1. 启动WebUI。

   在服务列表中，单击目标服务的服务方式列下的查看Web应用，来启动WebUI。

2. 加载Chinese-Diffusion插件。

   在扩展页签下，检查是否已选中ChineseSD。如果没有选中，您需要选中ChineseSD，并单击应用更改并重载前端来重新加载Chinese-Diffusion插件。

3. 使用Chinese-Diffusion插件进行模型推理。

   在WebUI中输入中文Prompt进行模型推理，各功能的对应效果如下：

   文生图

   切换到Chinese-Diffusion页签，在文生图选项卡中选择模型 > pai-diffusion-artist-large-zh。模型加载完成后，在提示词（prompt）中输入一个美丽的女孩，然后单击生成图像。

   您也可以加载Lora模型，以生成不同风格的图像。

   图生图

   切换到Chinese-Diffusion页签下的图生图选项卡中。选择模型并加载完成后，输入提示词（prompt）并按照界面操作指引上传图片，然后单击生成图像。

   从上图可以看出，小女孩的发色变成了黑色。

   重绘

   切换到Chinese-Diffusion页签下的重绘选项卡中。选择模型并加载完成后，输入提示词（prompt）并按照界面操作指引上传图片和掩膜，然后单击生成图像。

   从上图可以看出，生成的图像对掩膜区域进行了重绘。

   Controlnet

   切换到Chinese-Diffusion页签下的Controlnet选项卡中。选择模型和Controlnet模型并加载完成后，输入提示词（prompt）并按照界面操作指引上传图片，然后单击生成图像。

   从上图可以看出，背景变成了雪地。