用sdwebui跑prompt的小经验

小经验和小心得

AI从下围棋跨界到聊天现在是作画,最近的大火让prompt也跟着火了起来。prompt是啥呢?就是跟AI交流的指令,目前prompt是支持英文和emoji图标的。AI通过阅读prompt传入的指令,来分析然后再反馈一个结果给人类。所以说如果职业是跟AI有交集的,都建议了解一下prompt,这个任意真的提升效率太多了(我现在业余时间的代码AI包办了80%了,剩下的20%具体情况要自己看)。

当然我们的网络环境很拉,这是耽误各位进步的一个头疼问题…

说回sdwebui的prompt。要用sdwebui画图,肯定要有一个checkpoint,那么这个就是AI画图的原材料。比如我个人比较喜欢的BRA(beautiful realistic Asians)V3这个checkpoint,他的效果就是产出的图非常真实,画亚洲人特别是韩国人,感觉就是照片照出来的照片,所以很多人都拿这个模型产出的图去那种XX论坛上卖…

prompt里的元素是有前后的,推荐上来先顾全大局,写上best quality4Kmasterpiece这样的话,要求AI产出的图是很高清的。要表达的中心物体放前面写,就好像你拍照,拍人物照,肯定镜头的重心就是人物,然后远处的山啊水啊鸟啊狗啊都是配菜,那么prompt里,就把人物放在最前面。这里人物就要有一番描述了,比如是美国人还是日本人还是韩国人,皮肤如何,男性女性,戴个警察帽子,带一个手表,浅浅的微笑这样的细节描述;然后是场景,比如在银行里,或者在办公室里,黑天白天;动作,比如坐在椅子上翘二郎腿,双手叉腰等等,这样基本就能描述出来一个场景了。差不多也可以产出一个图了。

prompt里也可以用()[]来调整权重,每一个()代表权重多加1.1,每一个[]代表权重减少1.1。词语之间可以用下划线来链接,比如long_wave_hair就会产出大波浪。

具体的prompt例子我就不说了,C站上有的是,discount和reddit也都有prompt交流群。随便看看就有收获,在那里即学习了prompt又学习了英语单词又学习了英语语法又伤了身体(囧)…

但是要注意,不是每次你的prompt写的所有元素都会被AI全部展示到图片上的,权重大的会优先产出,权重小的可能压根就被舍弃掉了。所以建议同一个prompt多跑几次,然后慢慢挑图,跑的多了,之前没跑出来的元素就会都出现了。

而有一些动作可能跑好几百次也不会跑出来,这种大概率就是这个chickpoint原生不支持,比如我上面说的BRA(beautiful realistic Asians)V3不支持standing split(一字马),估计是做了限制,所以这种情况就要搭配lora,让lora来帮助你完成一字马。当然有些也是失败的,那么就要不停的变换chickpoint。这里建议先去C站看看前任用这个chickpoint做出来的图,如果他们show出来的图是有一字马而且用的prompt是没有使用其他的lora,那么代表这个原生的chickpoint肯定能做一字马,是你的prompt不对,就继续重试,直到出现为止。

通过chickpoint+lora+prompt这样的组合拳来产出图片,这样可以极大地提高出图效率、丰富出图的内容。

最后再来一点实操prompt心得:想好了自己的图片样子,然后就照着这个样子去做。千万不要被眼花缭乱的prompt效果图打乱了计划,我知道C站上美女很多,看着看着就让人心猿意马…虽然他们的prompt能生成你想要的效果,但是他们也是好几次里挑出来那么一次的。一点一点丰富自己的prompt,失败了也不要灰心,只要前任跑出来过,那么多跑几次肯定能得到自己想要的图。如果觉得有些图弃之可惜,可以干脆自己动手,PS掉不爽的那部分。

目前AI的不足

  1. 还是那句话,产出的图的手脚大概率都是不正常的,这里直接上图:

    但是好的lora+好的chickpoint可以有效的降低手脚畸形的概率。

  2. prompt可以用emoji里的”自拍”、”比耶”、”开心”等等表情来代替英语单词,进而来提升出图的准确性。emoji是能被AI识别的,但是不会每次都识别到。我见过最简单的一个prompt里面的内容就是:🏃🏻‍♀️ 🎒 爬山的emoji,这三个符号就完成了一幅画。但是我尝试把”自拍”的emoji放到prompt里,十几次就出来2次左右的效果。还有一次尝试”比耶”的emoji,直接比出来4个手指头,不知道的还以为是追梦格林…

  3. 目前AI只能从一个checkpoint里学习,玩不了混搭。而且lora虽然方便了一些动作的prompt,但是他还是有使用限制的,比如dolllikeness这个lora,它只能用于近景,如果prompt里又写了full body的话,就跟lora相冲突,full body的效果如果小于lora的权重的话那产出的图就不会出现全身的效果。

  4. AI目前的视角还比较死板,笔直的站着拍正面照的效果是最好的,其次背景效果也很好,然后背转身看镜头这种就有几率失败了,来一点复杂动作就要更加复杂的prompt,而这些prompt很多时候ai还不识别(估计跟英语一个词多个意义有关)。这种就需要sdwebui其他的一些功能来解决问题了。

  5. AI画出来的表情也比较受限,除了微笑、张嘴、吐舌头(这个也一定几率有BUG)、脸红。其他的好像就没啥了,哭泣都不是很明显。除此之外,AI图片的影子也有问题,经常影子跟人相差的得太过离谱,让人细思极恐。

  6. prompt上一些指令被AI识别的结果也让人哭笑不得,我炼丹想做一个”一只手拿着冰棍的妹子”,结果AI画出来妹子手里拿的是冰棍的冰的那部分,棍是冲着嘴的…

  7. 除了手脚不行,kiss也不行。之外还有一些动作,比如弹吉他也不行,手根本也没有搭上吉他(感觉好像还是手的问题啊!)。听说controlnet可以解决多指的问题,但是只能解决明显的手问题,比如抱臂这种重叠交叉的场景它还是无能为力。

  8. AI目前没有一个反馈机制,比如它prompt执行的好执行的不好,需要有人类进行反馈,这样来达到训练它的目的,但是sdwebui没有这样的打分机制,这点跟chatgpt不同。

综上所述,可见目前的AI不是万能的,很多地方还需要人手工介入,就冲着它交工不能百分百让人满意,它就注定是一个工具。不要被别人妖言惑众,说AI可以代替谁谁谁的。掌握了工具,用好了工具大家都HAPPY。

如果我想用AI画知名人物

很多人看到了网上的AI画出来什么特朗普被捕啊普京被捕啊就也想用sdwebui去试试,但是原生的sdwebui里的AI是只知道资料但是不清楚长相的,所以直接输入名字就想是画效果是不好的,比如你输入一个kobe bryant,能出一个穿湖人24号的光头黑人,但是脸跟Kobe差的挺多。

比如二次元圈出名的蒂法,你在prompt里输入Tifa Lockhart,AI画的并不像,那么也想要得到蒂法就需要去训练一个蒂法模样的lora。让这个lora来帮你实现蒂法的长相,lora训练的越好,做出来的画就越逼真,如图:

但是lora就有一个问题,因为训练lora多半都是拿正脸照,所以生成的图片也基本都是正脸的,不太能有侧脸或者其他的样子。这一点也证实了上面的第四点“AI目前的视角还比较死板”。

AI直接画名人要面临很严重的法律问题,所以即使你训练了lora,C站也不会直接让你放上去的,所以这种lora你也就只能自己本地留着,或者商用授权卖掉,毕竟这个世界宅男很多,愿意花钱的宅男也很多…

不过前几天发现有一个妹子把自己的照片训练成了lora,并且放到了C站上,https://civitai.com/models/34102/nana ,这个妹子倒也不拿兄弟们当外人,任由别人来拿她的脸做福利姬。

参考资料

https://zhuanlan.zhihu.com/p/619247417
正面prompt学习:https://gooptions.cc/chickpoint-prompt%E6%95%99%E5%AD%B8/
负面prompt学习:https://vocus.cc/article/amp/642520acfd89780001223a22
控制人物视角:https://m.huke88.com/article/8069.html

感谢您请我喝咖啡~O(∩_∩)O,如果要联系请直接发我邮箱chenx1242@163.com,我会回复你的
-------------本文结束感谢您的阅读-------------