使用stable diffusion的txt2jpg让ai画图

安装stable-diffusion UI

系统:windows

要用stable-diffusion画图,就需要先安装Python 3.10.11,这里Python的大版本必须是3.10,不然就会出现https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/7166 这个issue里的错误。

stable-diffusion-webui的git地址是 https://github.com/AUTOMATIC1111/stable-diffusion-webui,clone 到本地解压缩就行。解压缩之后,执行你的文件夹/stable-diffusion-webui/webui.bat,这里需要一个翻墙的网络,不然的话安装起来就会很痛苦,需要一会时间,把需要的配件全部pip install之后,就会看到在本地启动了7860端口。如图:

此时在浏览器里打开127.0.0.1:7860就会看到stable-diffusion-webui(简称SDwebui)这个WEB页面,也就是生成AI图片的控制台。

注意!webui.bat不要关闭,这个是UI的后台。

然后我们可以去civitai.com去下载lorastable-diffusion,这里要先做一个普及:

1
2
stable-diffusion:这个是模型(checkpoint),也就是作画的画风,比如写实风,或者动漫风,古典风。这些都是网友自己做的,目前比较火的几个是chillmix、dosmix、perfectWorld等等。
lora:微调,如果你有一些效果,用语言描述又比较麻烦,那么可以搭配这个lora,比如一个模仿逆转裁判著名手势的lora,搭配了这个lora之后,你用上面stable-diffusion风格画出来的画都会搭配上lora这个动作。

那么我们先去https://civitai.com/models/8281/perfect-world 下载一个这个叫perfect-worldstable-diffusion,如图:

下载到的地址一定要是你的文件夹/stable-diffusion-webui/models/stable-diffusion。这个文件很大,要下一会。

界面介绍

下载完毕之后,我们来到127.0.0.1:7860,此时刷新一下左上角的stable diffusion checkout,就会看到perfect-world已经能成功被发现了。然后我们就直接用txt2img这个标签页,这个标签页主要就是用文字来描述图片,目前只能支持英文和emoji表情。

这里上面是写prompt(正向提示符),也就是你希望出现的元素,比如有阳光,有沙滩,人穿什么衣服,长头发短头发,头发是湿的是干的等等。下面是写negative prompt(反向提示符)避免的东西,AI不善于画手是出名的,现在用stable-diffusion-webui依旧不善于画手(偶尔会有成功的时候,大约10次里有一次),所以很多人都会在这里写上too many fingerslong neckmissing armsextra arms这样的词来避免出现乱手、少胳膊、多胳膊等畸形的情况。其实没啥大用,即使你写了,AI依旧有可能把手画成六指、猪蹄子甚至八臂哪吒…所以有些人就干脆在prompt里写arms behind back等词语来避免画手。

对了,写完后请检查一下prompt有没有违反物理定律的搭配,不然AI画出来的图也肯定会逻辑不通。举个简单的例子,你在prompt里即要求人smiling,又要求tongue out,那么产出的图里吐出来舌头就不太自然。

然后再说说界面上其他的东西:

1
2
3
4
5
6
7
8
9
10
11
sampling method:这个是采样方法,是用一套算法得到期望值的。这里提供了很多种算法,但是没有完美的,需要你多试几次然后比较一下。

sampling steps:这个是采样步长,AI画画跟人画画不一样,人画画先是一个白纸,然后一点点的丰富上色。而AI是上来一个很模糊的东西(噪音很大的画布),然后一点点精细(去噪),所以这个值如果是1或者很小,那么你得到的可能就是一坨乱呼呼的东西,即噪音最大的样子。这个值默认是20,分辨率不太高的画是够用了,值越大耗费时间越多,这个值最高是150,越高的画就越精细,但是也是有临界值的,过了临界值就没啥显著变化了。我试了几下,150的话,每张1024*1024的图就要好几分钟才能出图,六指的几率小了一丢丢,但是还是有六指...

batch count:一次生成多少图片。

batch size:一次生成几组图片,如果你要画一个九宫格,那么就是上面选3,这里也是3。这俩值和下面的width height都跟显存有关。

CFG Scale:图像跟提示符的一致程度。越高的话AI就越严格听你的prompt描述,但是前提是你的prompt足够标准,足够全面,而越低AI就越放飞自我。默认的7~11基本就是比较平衡的。

SEED:这个是随机数种子,如果你看到网上有些图画的很好看,也想画出它的效果,那么你就选择它的种子,相似的概率会高,但是肯定不会是一模一样的。

那么我们现在就用下载好的perfect-world,画一个蝙蝠侠在香港的夜里骑自行车的图吧。

prompt很简单,就是:a batman driving a bicycle,in HONGKONG,at night,负面negative prompt我们写:worst quality,logo,watermark,就是避免水印,避免低质量输出等等。点击generate按钮就能产出图片了,如图:

再看一下搭配lora的场景,我们下载一个https://civitai.com/models/7692/objection-ace-attorney-lora 的lora。使用这个lora,你生成的图片都会是这个《逆转裁判》里“异议”指人的造型。把这个lora下载到你的文件夹/stable-diffusion-webui/models/Lora这个文件夹里。

此时我们把promot改成:batman,objection,countroom,pointing。同时点击这个红色有个小白点的图标,选择LORA标签页,点击一下refresh就会扫描出来刚刚下载的objectionAceAttorney,如图:

当你点击它的时候,就发现上面的promot变成了batman,objection,countroom,pointing,<lora:objectionAceAttorney_objection:1>,多了后面这个lora,这里的1就是权重,lora在promot是可以多个的,用权重来突出重点。点击Generate,产出图片如图:

如果你有比较不错的prompt,可以点击generate下面的保存图标,然后起一个名,这个prompt就被保存了。如果同名就是覆盖,这里不会有提示,直接覆盖。

这样,当你搭配lorastable-diffusion以及其他的参数就可以随心所欲的创作了。如果觉得英文吃力,可以用chatgpt来帮忙写prompt。如果你有搞lorastable-diffusion的想法,那么可以去huggingface.co里找到素材和锻炼lora

AI产出的图是默认存储到你的文件夹/stable-diffusion-webui/out-put/tet2img-images/今天日期的文件夹里,想修改存储地址,就在settings这个tab里的paths for saving里修改。然后你可以把生成的图上传到civitai.com对应的页面给大伙看看效果,最好带上你的prompt,让大家给你点个赞一起交流学习。

未来展望

AI画图的效果目前惊艳了不少人,很多插画师因此感受到了饭碗不保,但是如果说艺术性,那AI还是跟画家没法比。现在AI的作品是批量的,流水线的,而画家们虽然风格会固定,但是每一幅画都是一副新画,会有小心思在里面。所以说如果画家技术够牛逼、有思想、有人文精神,肯定是不怕AI的。AI更多适合出那种数码效果,而不是油画效果。

而且AI现在手和脚还是关节错位的,比如prompt里加一个peace sign,即想要一个剪刀手的手势,产出的100张图里能有一个合格就算不错了。所以插画师们可以考虑学习一下ai,然后自己只负责后期PS手脚就行,这样可以极大提升工作效率。

AI目前虽然能作画,但是学习的例子还是比较依赖人为性的输入,还没有自主学习的意识。而且AI画图目前来看还缺乏做动态视频的能力,就比如civitai.com现在完全就是一个18禁的静态画廊了(拿civitai.com练爬虫估计是一个不错的选择)。而且同一个AI模型产出的图看多了,对脸盲患者来说就麻木了。

我玩了这个sdwebui两天,觉得借着prompt来学英语单词还是挺不错的,而且一个图一个图的generate还挺上瘾。但是还是要吐槽一下,civitai.com总挂,一个周末挂了几乎20多个小时,估计厂家目前还是一个小团队,维护经费不足。

参考资料

lora的原理:https://huggingface.co/datasets/HuggingFace-CN-community/translation/blob/main/lora_cn.md
写prompt的教学:https://gooptions.cc/stable-diffusion-prompt%E6%95%99%E5%AD%B8/
写prompt的网站:https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
炼丹记:https://www.bilibili.com/read/cv19927143?from=articleDetail (国内安装法这里有)

感谢您请我喝咖啡~O(∩_∩)O,如果要联系请直接发我邮箱chenx1242@163.com,我会回复你的
-------------本文结束感谢您的阅读-------------