Lora攻略-实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱、美观的萌宠图片，对这些美妙的图像深深着迷 于是想着看看利用AI绘画StableDiffusion以下简称（SD）做出来。 以下是详细实操的全过程，包括所有用的资料已经打包到网盘。
最后尝试的最终效果如下： 更多图片请查看网盘： 「萌宠图片及关键词」 链接：https://pan.quark.cn/s/ba9c3e8ef92a
如果你想了解更多的StableDiffusion的知识，请参阅： AI绘画：Stable Diffusion 终极炼丹宝典：从入门到精通 原文链接阅读更舒服：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成 一：准备需要的资料都打包在网盘里面，需要的自行下载。 我用夸克网盘分享了「StableDiffusion炼丹资料」 网盘链接：https://pan.quark.cn/s/3c8cc96f3221
二、Lora作用LORA可以让我们轻松画出特定的人物，物品，特殊的笔触和特殊的画风或风格，属于一种特殊训练的子集。 1.AI模特炼出一个自己的模特，让这个模特穿上自己的商品
2.炼衣服Lora添加一个衣服的Lora，就可以让人物穿上特定的衣服
3.改变画风/画面背景通过添加Lora改变照片的画风，这个画风可以自己去训练
Lora模型究竟是什么？专业的解释 LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。 通俗的解释 Lora可以复刻人物和物品的特征，固定人物动作，改变照片画风 而且Lora只需要少量的数据就可以训练出来，比训练大模型要简单很多 所以大家可以通过训练自己的Lora，做出定制的图片 但不得不说的是，目前的Lora还不能做到100%相同，尤其是细节方面 但是相信随着之后的技术发展，万物皆可Lora的时代是不远的 三、如何炼制自己的Lora模型？炼制Lora的方式有很多种 有用脚本训练的，也有在网站界面上训练的，最近还有很多朋友做出来了训练Lora的整合包 创建Lora模型的方式有许多，包括通过脚本进行训练，通过网页界面操作，甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同，但其训练逻辑其实都是相同的。 因此，我们可以选择使用整合包。整合包的优点在于，它将炼丹所需的所有工具和步骤集成在一款软件中，为我们提供了一种更为便捷且有效的训练方式。
炼丹分为以下几步： 1.下载整合包 2.准备工作 3.开始训练 4 .测试Lora 5.优化Lora 四、炼丹前的准备（下载整合包）在炼Lora之前，需要大家先确认一下自己的电脑配置： 1.电脑配置需要N卡，并且6G显存以上 2.A卡和Mac系统，或者电脑配置不太行的小伙伴建议用云平台 我这里用的是B站up主朱尼酱的整合包： 我用夸克网盘分享了「StableDiffusion炼丹资料」 网盘链接：https://pan.quark.cn/s/3c8cc96f3221 下载好了之后把它解压到D盘或者E盘，不要放在C盘！！
打开解压之后的文件夹，在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序
看到这个页面就安装好了，点击“开启炼丹炉”就可以开始炼Lora啦！
五、选择合适的大模型跟画图一样，炼Lora之前也要先选一个大模型，确定Lora的画风 这里训练的萌宠，我选择的是“cheeseDaddys_35”大模型 真人模型=》选用“chilloutmix”的大模型 二次元=》选用“anything”的大模型 如果你的Stable Diffusion里面没有模型，那就要先去下载模型噢！ 网盘里面已经给大家放了这两个大模型 我用夸克网盘分享了「2.大模型checkpoint」 链接：https://pan.quark.cn/s/9767ac274f83
再往下就可以选择一个我们要训练的Lora的类型 选择之后就会帮我们选择默认的参数 训练真人Lora就选“人物” 训练二次元就选“二次元” 如果想炼绘画的风格可以选画风 除此之外还可以自定义去炼平面设计图或者建筑之类的 我这里选择的是产品
六、高质量素材的制作以上准备工作及参数设置好了后，就可以开始上传自己的素材开始训练了。 这些素材就是我们要喂给AI学习的素材 素材的质量非常重要！！会直接影响最后出来的Lora的质量 我们的素材需要满足几个点： 1.上传20~30张照片 2.素材要高清！！！ 3.多角度照片 这里我就以炼萌宠Lora为例子，上传萌宠的照片 点击“删除全部”把默认的素材删掉 然后点击“上传素材”，上传自己的照片
一般情况下，下面的参数默认就可以了 需要调整参数的话，最好是需要了解参数的含义，如果乱调的话，可能会训练失败。
七、耐心等待的训练过程
看到这个页面就是模型正在训练中 到这一步只要耐心等待就可以了，没什么需要操作的 我们可以看一下下面的参数是什么意思 “Steps”就是训练步数 每训练50步右下角就会出现一张图片 那样就可以实时看到Lora的样子 这个白头发和红裙子是后台加上去的关键词 可以测试Lora的泛化性
Loss可以用来参考模型的好坏 一个好的模型Loss值在0.07~0.09之间
等训练完了之后，点击“模型” 就可以看到生成出来模型 按照默认参数训练会出来20个模型，但不是说最后一个模型就是最好的 有可能炼到第十六第是十七个模型就已经够了，再往后的模型就已经训练过度了 所以这些模型还要实际在SD测试一下，才知道哪个是最好的
八、如何测试Lora的好坏模型生成出来之后就可以到SD里面生成图片 在SD里面可以生成这么一张大图，可以直接看到所有模型在不同权重下出来的效果 比较一下哪个模型更好，就只保留那个模型就可以了
接下来我们就看看怎么生成这张大图 首先把新生成的10个模型复制到SD的models文件夹，放到Lora文件夹里面
然后把没有序号编码的那个Lora重命名
保存好模型之后就可以打开SD进行测试了 首先先选一个大模型 你用哪一个大模型来训练lora就选哪个大模型 然后输入正面关键词和负面关键词 正面关键词可以输入一些质量词，比如最高质量、高清画质、大师杰作等等 负面关键词直接复制我们以前用过的就可以 接下来就是选用我们刚刚炼好的Lora 随便选一个都可以
重点来了：把000017换成NUM，1换成STRENGTH <lora:cute dog_20230708214731-000017:1> 例如： <lora:cute dog_20230708214731-NUM:STRENGTH> 迭代步数，采样方法这些参数大家可以按照自己的习惯去修改 然后滑到最下面找到“脚本” 在脚本里面选择 “X/Y/Z图表” X轴、Y轴类型都选择 “提示词搜索/替换” X轴的值输入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010
Y轴值输入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1
全部参数设置好了之后就可以点击“生成” 生成出来就是这么一张大图，可以看到这几个Lora模型在不同强度下的表现 九、如何优化Lora实际上，炼丹是一件比较玄学的事 有的人可能一次性就能炼出自己满意的Lora 但有的人可能要炼好几次才出来一个好的Lora 这时候我们可以通过调整训练的参数再重新炼一个 前提是 确保我们的喂给AI的素材是高质量的！ 不然不管怎么修改参数，出来的Lora都是不合格的 这里我们就把炼Lora会遇到的问题分成两种情况 1.Lora出来的照片不像本人：AI没学好 2.Lora过拟合，甚至出来的照片崩了：AI学过头了 过拟合就是不管输入什么关键词，出来的照片都是你喂给AI的照片 没办法自由控制人物的服装、发型、发色等
点击“参数调优”我们就可以自行设置参数
如果生成的照片不像本人，那就可以适当增加Repeat（学习步数）值 如果照片过拟合了，那就减少Repeat值 其他参数都可以不用调，因为默认的参数就差不多是最优值了 十、资源下载汇总Lora炼丹网盘资源汇总： https://pan.quark.cn/s/3c8cc96f3221 StableDiffusion资源整合安装包：https://pan.quark.cn/s/2750beda9269 StableDiffusion关键词分类查询：StableDiffusion的关键词分类查询 ControlNet资料汇总：https://pan.quark.cn/s/47bc8c79892a AI资料网盘汇总（不定期更新）：AI专区网盘资源汇总 AIGC从入门到精通教程汇总：AIGC从入门到精通教程汇总 原文链接阅读更舒服：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成 |
原文地址：https://blog.csdn.net/weixin_38428126/article/details/131622065
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.msipo.com/article-1225.html 如若内容造成侵权/违法违规/事实不符，请联系MSIPO邮箱：3448751423@qq.com进行投诉反馈，一经查实，立即删除！
Copyright © 2024, msipo.com
