1.AI与PDE（七）：AFNO模型的画画绘制源代码解析
2.腾讯T2I-adapter源码分析（3）-训练源码分析
3.stable-diffusion-webui源码分析（10）-unet网络结构
4.超火的漫画线稿上色AI出新版了！无监督训练，源码源码效果更美好 | 代码+Demo
5.可免费使用NovelAI的画画绘制资源指路（本地版，云端版）
6.手把手教你安装运行AI绘图Stable-Diffution-Webui（Mac OS篇）
AI与PDE（七）：AFNO模型的源码源码源代码解析
本文旨在解析AFNO模型的源代码，帮助读者理解模型细节与主干结构。画画绘制首先，源码源码显示音乐控制通知源码AFNO模型的画画绘制主干框架在afnonet.py文件中定义，通过类AFNONet实现。源码源码模型的画画绘制核心功能封装在多个类与函数中，依据代码注释逐步解析。源码源码
在代码中，画画绘制forward_features函数负责模型的源码源码核心逻辑，包括patch切割与mixing过程。画画绘制这些操作由PatchEmbed类实现。源码源码位置编码self.pos_embed通过高斯初始化得到，画画绘制增加模型的表示能力。
关键模块AFNO2d位于代码中，它基于FNO的原理，负责处理输入数据。AFNO2d模块在forward_features函数中通过循环调用，实现数据的转换与混合。
经过数个L layer处理后，模型进入类似解码器的结构，用于将中间结果映射为目标结果。这一过程通过self.head(x)实现，以解决特定分类问题。
本文通过梳理代码流程与结构图，直观展示了AFNO模型的工作原理。读者可参考AFNO的GitHub源代码与论文，深入理解细节。后续文章将继续探讨基于AFNO模型框架的其他应用，如FourCastNet。
腾讯T2I-adapter源码分析（3）-训练源码分析
随着stable-diffusion和midjourney等AI技术展现令人惊叹的艺术创作，人们对AI可控绘图的追求日益高涨。为提升AI图像生成的可控性，Controlnet和T2I-adapter等解决方案应运而生。系列文章将从T2I-adapter的源码出发，深入剖析其训练部分的实现原理。
本篇我们将聚焦于训练源码的解析，通过代码结构的梳理，了解T2I-Adapter的训练流程。
训练代码的运行涉及数据处理、模型加载、优化器设置以及实际训练过程。在第一部分，我们首先设置参数并加载数据，读取epc demo源码如DepthDataset，它从txt文件中读取、对应的深度图和文本描述。
在模型加载阶段，我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时，其配置与推理阶段有所差异，如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的加载则遵循推理过程中的初始化方法，通过构建不同模块来实现。
训练过程中，adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用，相比controlnet，T2I-adapter的参数更少，没有注意力层，这使得训练更为高效。模型放入GPU后，使用adamW优化器进行训练，同时设置学习率和数据保存路径。
状态恢复部分，程序会判断是否从头开始或恢复训练，设置log信息。接下来，代码进入实际的训练循环，包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。
loss函数定义在模型配置中，采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中，loss计算和模型保存都在代码中明确体现。
总的来说，T2I-adapter的训练源码展示了精细的结构和参数设置，确保了AI绘画的可控性和性能。在AI艺术的探索中，每一行代码都承载着技术进步的点滴痕迹。
stable-diffusion-webui源码分析（）-unet网络结构
stable-diffusion-webui的源码分析深入探讨了unet网络结构在AI绘图中的关键作用。unet在去噪过程中起着核心作用，它接收prompt特征、latent特征和时间步特征，通过下采样和上采样过程生成新的特征。稳定扩散模型的旅游商城平台源码unet结构基于原始unet，并进行了定制以嵌入文本信息。在webui的实现中，关键代码位于openaimodel.py，其中包含大量的初始化参数和组件，如ResnetBlock、SpatialTransformer和DownSample等。
模型的构建通过__init__方法进行，参数丰富，配置文件v1-inference.yaml定义了这些参数。初始化代码中，会检查输入参数的有效性，并设置一些变量。时间编码（time_embed）是一个维度的向量，通过多个MLP层生成。input_blocks部分的conv_nd是卷积层，其参数根据配置进行设置，TimestepEmbedSequential则负责传递时间信息给各个模块。
unet的结构复杂，包括内嵌的ResBlock和SpatialTransformer模块，以及通过循环进行的下采样和上采样。每层模块的添加和参数设置都有特定条件，如基于分辨率的注意力机制。通过分析，我们看到模型如何整合时间步和文本信息，通过ResBlock处理隐变量，通过SpatialTransformer实现注意力机制。
最后，DownSample和UpSample模块用于调整特征的空间分辨率。总的来说，unet网络结构是stable-diffusion-webui中AI绘图背后的重要技术基础，深入理解其细节对于掌握AI创作过程至关重要。
超火的漫画线稿上色AI出新版了！无监督训练，效果更美好 | 代码+Demo
超火的漫画线稿上色AI又有新突破！style2paints 2.0版本发布，采用无监督训练，为动漫形象带来更为惊艳的效果。只需上传一张手绘线稿，轻轻一点，你的收藏宝贝就能展现出丰富的色彩。
不同于早期版本，style2paints 2.0不仅能自动根据用户选择的参考图转换风格，还能精准响应用户在特定区域的提示，实现细致的色彩调整。它在保持颜色协调的虚拟类游戏源码同时，注重细节处理，追求漫画中角色眼睛的闪亮、脸颊的红晕和皮肤的精致，力求达到专业级的上色效果。
尽管风格迁移技术并不新鲜，但style2paints 2.0在处理纯线条草图时的复杂性不容忽视。它需要AI自行填充阴影和纹理，实现从黑白到彩色的转换，这并非易事。尽管目前没有详细论文，但其前身的Style Transfer for Anime Sketches算法已经展示了良好的基础。
style2paints 2.0的改进在于更纯粹的无监督训练，它依靠神经网络自我学习，而非硬性规则指导，这使得模型收敛更为困难，但最终效果令人满意。尽管市面上还有其他线稿上色工具，但作者对它们的评价并不高，认为在漫画风格转换上，GAN和用户自定义参考图是关键。
想要亲自体验style2paints 2.0的魅力吗？欢迎试玩Demo，感受线稿上色的新江湖。虽然官方论文尚未发布，但源代码已提供，探索技术背后的魅力。快来试试，让你的动漫收藏焕发出新的色彩吧！
可免费使用NovelAI的资源指路（本地版，云端版）
NovelAI源码泄露后，大佬们已提供成熟使用方法。下载G资源，包含多个模型，选择一个适用即可。
本地版推荐使用以下教程安装：AI绘画再次进化！novelai真官网版本解压即用 无需下载！这次1分钟内不用学也能会用 bilibili.com/video/BV1E...
官网版本，一键使用。链接在视频简介，提取码需关注大佬后在私信里得到。
云端版推荐此网站：ai.nya.la/stories（此网站已失效，一键搭建云端版请点击： 靠谱的赳晨：一键搭建NovelAI云端版（使用colab免费服务））。
直接点Sign In 登录，点击Image Generation开始生成图像。如出现“太多请求正在处理，请稍后再试”提示，td波指标源码继续点击Generate，直至无法点击，然后稍等。
本月日（周日）云端版服务即将停止，建议抓紧使用。搭建教程请参考： telegra.ph/NovelAI-%E5%...
历史版本使用方法，建议自行搜索了解。
手把手教你安装运行AI绘图Stable-Diffution-Webui（Mac OS篇）
AI绘图领域的热门工具stable-diffusion-webui是Mac用户首选的本地运行平台。由于其开放性、灵活性和高效性，我们将在本文中详细指导你在Mac M1或M2系统上安装并运行它，满足粉丝对新功能的需求。 首先，确保你的设备配置：Mac M1或M2，内存8GB以上，至少GB可用硬盘，GB更佳，且内外网访问流畅。接下来，按步骤操作：在Terminal中安装Homebrew，如果已安装，则跳过。
通过命令行安装Python和Git。
从GitHub克隆stable-diffusion-webui的源代码。
下载基础模型，如stable diffusion 2.0的-v-ema.ckpt。
在launch.py文件中配置国内镜像下载GFPGAN等依赖。
运行webui.sh启动应用，可能需要一段时间下载插件。
访问本地URL .0.0.1:，通过浏览器打开稳定扩散webui界面。
遇到问题时，可参考常见问题解答：免费使用，无需付费，无nsfw限制，无排队等待。
关闭电脑后重开，重复上述步骤即可。
网络问题检查网络连接，如遇下载错误，按指导修改launch.py。
提高绘图质量，可通过下载更多模型包和优化提示词。
切换模型：下载并替换checkpoint文件，刷新选择新模型。
优化速度：调整图像大小，关闭hirex.fix，减少后台占用。
想深入了解提示词编写和更高级功能，后续文章会详细介绍。如有任何疑问，可参考我们的其他教程。 我们已经分享了多个教程，包括Windows和Mac的本地部署方法，以及如何使用Waifu Diffusion。继续探索，掌握AI绘画的魅力吧！参考资料：
ai绘画如何导入模型ai绘画如何导入模型
首先，要使用AI绘画需要安装一些必要的软件和库，比如Python、TensorFlow等。接着，需要选择一个合适的AI绘画模型，例如DeepDream、GAN等。这些模型可以在各大代码平台(如GitHub)上找到相应的源码和说明文档。
一般情况下，导入模型需要进行以下几个步骤：
1. 下载所需模型的源代码，并解压缩文件。
2. 安装模型所依赖的库和环境，确保能够正常运行代码。
3. 在代码中指定模型的路径、输入参数和其他设置。具体方式会根据不同的模型而有所差异，在阅读相应文档后可进行操作。
4. 运行程序并导入模型。
需要注意的是，在导入模型之前，为了保证绘画效果，还需要预处理或训练数据。这通常包括将转换为特定格式和大小，并对图像进行预处理以提高模型性能。
总之，导入AI绘画模型是一个比较复杂的过程，需要一定的编程技能和算法知识。建议在学习前先熟悉Python及其相关库，并阅读有关文档和教程来帮助理解整个流程。
腾讯T2I-adapter源码分析（1）-运行源码跑训练
稳定扩散、midjourney等AI绘图技术，为人们带来了令人惊叹的效果，不禁让人感叹技术发展的日新月异。然而，AI绘图的可控性一直不是很好，通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性，Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发，分析其实现方法。
本篇是第一篇，主要介绍源码的运行方法，后续两篇将以深度图为例，分别分析推理部分和训练部分的代码。分析T2I-Adapter，也是为了继续研究我一直在研究的课题：“AI生成同一人物不同动作”，例如：罗培羽：stable-diffusion生成同一人物不同动作的尝试（多姿势图），Controlnet、T2I-adapter给了我一些灵感，后续将进行尝试。
T2I-Adapter论文地址如下，它与controlnet类似，都是在原模型增加一个旁路，然后对推理结果求和。
T2I-Adapter和controlnet有两个主要的不同点，从图中可见，其一是在unet的编码阶段增加参数，而controlnet主要是解码阶段；其二是controlnet复制unit的上半部结构，而T2I-Adapter使用不同的模型结构。由于采用较小的模型，因此T2I-Adapter的模型较小，默认下占用M左右，而controlnet模型一般要5G空间。
首先确保机器上装有3.6版本以上python，然后把代码clone下来。随后安装依赖项，打开requirements.txt，可以看到依赖项的内容。然后下载示例，下载的会放到examples目录下。接着下载sd模型到model目录下，再下载T2I-Adapter的模型到目录下，模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5，也还下载了sd-v1-4.ckpt。
根据文档，尝试运行一个由深度图生成的例子，下图的左侧是深度图，提示语是"desk, best quality, extremely detailed"，右侧是生成出来的。运行过程比较艰辛，一开始在一台8G显存的服务器上跑，显存不够；重新搭环境在一台G显存的服务器上跑，还是不够；最后用一台G显存的服务器，终于运行起来了。
接下来尝试跑openpose的例子，下图左侧是骨架图，提示词为"Iron man, high-quality, high-res"，右侧是生成的图像。
既然能跑推理，那么尝试跑训练。为了后续修改代码运行，目标是准备一点点数据把训练代码跑起来，至于训练的效果不是当前关注的。程序中也有训练的脚步，我们以训练深度图条件为例，来运行train_depth.py。
显然，习惯了，会有一些问题没法直接运行，需要先做两步工作。准备训练数据，分析代码，定位到ldm/data/dataset_depth.py，反推它的数据集结构，然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt，用于存放数据文件的地址，由于只是测试，我就只添加两行。然后准备，图中的.png和.png是结果图，.depth.png和.depth.png是深度图，.txt和.txt是对应的文本描述。
文本描述如下，都只是为了把代码跑起来而做的简单设置。设置环境变量，由于T2I-Adapter使用多卡训练，显然我也没这个环境，因此要让它在单机上跑。而代码中也会获取一些环境变量，因此做简单的设置。
做好准备工作，可以运行程序了，出于硬件条件限制，只能把batch size设置为1。在A显卡跑了约8小时，完成，按默认的配置，模型保存experiments/train_depth/models/model_ad_.pth。那么，使用训练出来的模型试试效果，能生成如下（此处只是为了跑起来代码，用训练集来测试），验证了可以跑起来。
运行起来，但这还不够，我们还得看看代码是怎么写法，下一篇见。
PS：《直观理解AI博弈原理》是笔者写的一篇长文，从五子棋、象棋、围棋的AI演进讲起，从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索，一步步介绍AI博弈的原理，而后引出强化学习方法，通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点，值得推荐。
AUTOMATIC的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术，我们也分析了它的源码实现，写了一系列文章。
腾讯T2I-adapter源码分析（2）-推理源码分析
随着stable-diffusion和midjourney展示出AI绘图的惊人潜力，人们对技术进步的惊叹不已。然而，AI绘图的可控性一直是痛点，仅凭描述词控制图像并不尽如人意。为增强AI图像的可控性，Controlnet和T2I-adapter等技术应运而生。本文将通过解析T2I-adapter的推理源码，揭示其工作原理。
本文将深入剖析推理部分的代码，以便理解T2I-Adapter的实际操作。使用如下的命令行指令进行推理，如test_adapter.py，它需要指定条件类型、深度图路径、前置处理器类型、提示语、模型和缩放尺寸等参数。
在test_adapter.py中，主要分为参数读取、模型加载和推理运算三个步骤。参数读取部分包括检查支持的条件、构建提示语，以及根据输入选择前置处理。模型加载涉及stable-diffusion和adapter模型，前者通过配置加载，后者根据输入条件构造Adapter模型。
加载stable-diffusion模型时，代码引用了来自github的CompVis/stable-diffusion库，其中关键部分包括加载参数、模型配置以及UNetModel的改动。Adapter模型的构造与论文中的结构图一致，通过ResnetBlock的组合实现。
在推理过程中，先对输入进行预处理，如深度图的处理。随后，get_adapter_feature和diffusion_inference两个核心函数调用adapter模型，与stable-diffusion模型结合进行特征融合和采样。最后，DDIM采样器接收并处理adapter特征，最终生成图像。
通过以上分析，我们逐步揭示了T2I-adapter的推理机制。后续文章将探讨训练代码。在游戏开发中，AI生成游戏角色动作的应用，如AUTOMATIC，展示了这种技术的实际应用，以解决美术资源匮乏的问题。
