1.腾讯T2I-adapter源码分析（3）-训练源码分析
2.推荐一款Meta出品的作画AI版神笔马良工具
3.AI编程可视化Java项目拆解第二弹，AI辅助生成方法流程图
4.ai绘画如何导入模型ai绘画如何导入模型
5.超火的源码源码漫画线稿上色AI出新版了！无监督训练，绘制效果更美好 | 代码+Demo
6.手把手教你安装运行AI绘图Stable-Diffution-Webui（Mac OS篇）

腾讯T2I-adapter源码分析（3）-训练源码分析

       随着stable-diffusion和midjourney等AI技术展现令人惊叹的作画艺术创作，人们对AI可控绘图的源码源码追求日益高涨。为提升AI图像生成的绘制经传筹码密集指标公式源码可控性，Controlnet和T2I-adapter等解决方案应运而生。作画系列文章将从T2I-adapter的源码源码源码出发，深入剖析其训练部分的绘制实现原理。

       本篇我们将聚焦于训练源码的作画解析，通过代码结构的源码源码梳理，了解T2I-Adapter的绘制训练流程。

       训练代码的作画运行涉及数据处理、模型加载、源码源码优化器设置以及实际训练过程。绘制在第一部分，我们首先设置参数并加载数据，如DepthDataset，它从txt文件中读取、对应的深度图和文本描述。

       在模型加载阶段，我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时，其配置与推理阶段有所差异，如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的加载则遵循推理过程中的初始化方法，通过构建不同模块来实现。

       训练过程中，adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用，相比controlnet，T2I-adapter的参数更少，没有注意力层，这使得训练更为高效。模型放入GPU后，使用adamW优化器进行训练，同时设置学习率和数据保存路径。

       状态恢复部分，程序会判断是否从头开始或恢复训练，设置log信息。接下来，可变溯源码代码进入实际的训练循环，包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。

       loss函数定义在模型配置中，采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中，loss计算和模型保存都在代码中明确体现。

       总的来说，T2I-adapter的训练源码展示了精细的结构和参数设置，确保了AI绘画的可控性和性能。在AI艺术的探索中，每一行代码都承载着技术进步的点滴痕迹。

推荐一款Meta出品的AI版神笔马良工具

       小马同学喜欢画各种小人，尽管谈不上精细美观，但活灵活现的神态总让我惊叹。

       能否让这些小人动起来？偶然间，我们发现了一个有趣的AI工具。

       1. 访问此网址：sketch.metademolab.com

       2. 上传你绘制的小人照片，点击“下一步”。

       3. 系统将自动识别小人的人体区域，一般能准确识别，对于过于抽象的画作，也可手动调整。

       4. 系统识别小人各部分，找出每个像素。

       5. 系统识别小人特征点和骨架，如眼睛等细节可手动调整。

       6. 选择你想要的动画类型，如走路、跳舞等。

       最后，小马同学与小人进行了一场跳绳比赛，趣味无穷。

       这款由Meta出品的AI工具，颇似中国的动画片“神笔马良”，为大小朋友们带来了无尽的乐趣。

       如果你对技术感兴趣，可以参考以下资源：

       1. 工具官方网站：Animated Drawings (metademolab.com)

       2. 源码仓库：GitHub - facebookresearch/AnimatedDrawings (探索更多功能，如多卡通小人的视频合成，或通过其他工具定义更多的人体运动模版)

AI编程可视化Java项目拆解第二弹，AI辅助生成方法流程图

       本文系列文章之一，naming源码详解旨在深入解析利用AI可视化Java项目的实践。在之前的分享中，我们探讨了AI在Java项目中的应用，该系列文章已在AI破局星球、知乎、掘金等平台发布。关注与支持是我们前行的动力。

       本文聚焦AI生成方法的Mermaid流程图。Mermaid是一款基于文本的流程图与时序图生成工具，允许用户通过简洁的文本描述语言构建复杂图示，适用于Markdown编辑器和直接在浏览器中打开。

       Mermaid的基本语法简单易懂，支持多种图形和布局，使描述流程与关系变得直观。借助Mermaid，可以将代码逻辑转换为可直接在浏览器中浏览的流程图，大大便利了用户对Java项目的理解。

       AI如何绘制流程图？在获取方法源代码后，通过提问AI模型，如GPT，即可生成Mermaid格式的流程图。通过精心设计的提示词，AI能以自然语言形式，清晰地展示代码逻辑，避免技术性描述，聚焦业务语义。流程图中的每个节点都会被明确标注，如"开始"与"结束"，并遵循特定的格式，确保信息的精准传达。

       在AI绘制流程图的实践中，我们发现生成的图仅基于方法体代码，有时无法全面揭示方法的功能。为解决这一问题，可采用递归方式生成子方法的流程图，如在当前示例中，将对`alipayService.notify(params)`方法进一步分析，展示其内部流程，以实现更全面的理解。

       通过上述方法，用户可以轻松地从项目入口开始，一路探索，华为ai源码直至所需内容，极大地降低了新团队成员的上手成本。在后续文章中，我们将分享如何生成项目的入口地图，敬请期待。

ai绘画如何导入模型ai绘画如何导入模型

       首先，要使用AI绘画需要安装一些必要的软件和库，比如Python、TensorFlow等。接着，需要选择一个合适的AI绘画模型，例如DeepDream、GAN等。这些模型可以在各大代码平台(如GitHub)上找到相应的源码和说明文档。

       一般情况下，导入模型需要进行以下几个步骤：

       1. 下载所需模型的源代码，并解压缩文件。

       2. 安装模型所依赖的库和环境，确保能够正常运行代码。

       3. 在代码中指定模型的路径、输入参数和其他设置。具体方式会根据不同的模型而有所差异，在阅读相应文档后可进行操作。

       4. 运行程序并导入模型。

       需要注意的是，在导入模型之前，为了保证绘画效果，还需要预处理或训练数据。这通常包括将转换为特定格式和大小，并对图像进行预处理以提高模型性能。

       总之，导入AI绘画模型是一个比较复杂的过程，需要一定的编程技能和算法知识。建议在学习前先熟悉Python及其相关库，并阅读有关文档和教程来帮助理解整个流程。

超火的漫画线稿上色AI出新版了！无监督训练，效果更美好 | 代码+Demo

       超火的漫画线稿上色AI又有新突破！style2paints 2.0版本发布，采用无监督训练，为动漫形象带来更为惊艳的效果。只需上传一张手绘线稿，源码时代99轻轻一点，你的收藏宝贝就能展现出丰富的色彩。

       不同于早期版本，style2paints 2.0不仅能自动根据用户选择的参考图转换风格，还能精准响应用户在特定区域的提示，实现细致的色彩调整。它在保持颜色协调的同时，注重细节处理，追求漫画中角色眼睛的闪亮、脸颊的红晕和皮肤的精致，力求达到专业级的上色效果。

       尽管风格迁移技术并不新鲜，但style2paints 2.0在处理纯线条草图时的复杂性不容忽视。它需要AI自行填充阴影和纹理，实现从黑白到彩色的转换，这并非易事。尽管目前没有详细论文，但其前身的Style Transfer for Anime Sketches算法已经展示了良好的基础。

       style2paints 2.0的改进在于更纯粹的无监督训练，它依靠神经网络自我学习，而非硬性规则指导，这使得模型收敛更为困难，但最终效果令人满意。尽管市面上还有其他线稿上色工具，但作者对它们的评价并不高，认为在漫画风格转换上，GAN和用户自定义参考图是关键。

       想要亲自体验style2paints 2.0的魅力吗？欢迎试玩Demo，感受线稿上色的新江湖。虽然官方论文尚未发布，但源代码已提供，探索技术背后的魅力。快来试试，让你的动漫收藏焕发出新的色彩吧！

手把手教你安装运行AI绘图Stable-Diffution-Webui（Mac OS篇）

       AI绘图领域的热门工具stable-diffusion-webui是Mac用户首选的本地运行平台。由于其开放性、灵活性和高效性，我们将在本文中详细指导你在Mac M1或M2系统上安装并运行它，满足粉丝对新功能的需求。

       首先，确保你的设备配置：Mac M1或M2，内存8GB以上，至少GB可用硬盘，GB更佳，且内外网访问流畅。接下来，按步骤操作：

       在Terminal中安装Homebrew，如果已安装，则跳过。

       通过命令行安装Python和Git。

       从GitHub克隆stable-diffusion-webui的源代码。

       下载基础模型，如stable diffusion 2.0的-v-ema.ckpt。

       在launch.py文件中配置国内镜像下载GFPGAN等依赖。

       运行webui.sh启动应用，可能需要一段时间下载插件。

       访问本地URL .0.0.1:，通过浏览器打开稳定扩散webui界面。

       遇到问题时，可参考常见问题解答：

       免费使用，无需付费，无nsfw限制，无排队等待。

       关闭电脑后重开，重复上述步骤即可。

       网络问题检查网络连接，如遇下载错误，按指导修改launch.py。

       提高绘图质量，可通过下载更多模型包和优化提示词。

       切换模型：下载并替换checkpoint文件，刷新选择新模型。

       优化速度：调整图像大小，关闭hirex.fix，减少后台占用。

       想深入了解提示词编写和更高级功能，后续文章会详细介绍。如有任何疑问，可参考我们的其他教程。

       我们已经分享了多个教程，包括Windows和Mac的本地部署方法，以及如何使用Waifu Diffusion。继续探索，掌握AI绘画的魅力吧！

       

参考资料：

Bilibili教程链接

腾讯T2I-adapter源码分析（1）-运行源码跑训练

       稳定扩散、midjourney等AI绘图技术，为人们带来了令人惊叹的效果，不禁让人感叹技术发展的日新月异。然而，AI绘图的可控性一直不是很好，通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性，Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发，分析其实现方法。

       本篇是第一篇，主要介绍源码的运行方法，后续两篇将以深度图为例，分别分析推理部分和训练部分的代码。分析T2I-Adapter，也是为了继续研究我一直在研究的课题：“AI生成同一人物不同动作”，例如：罗培羽：stable-diffusion生成同一人物不同动作的尝试（多姿势图），Controlnet、T2I-adapter给了我一些灵感，后续将进行尝试。

       T2I-Adapter论文地址如下，它与controlnet类似，都是在原模型增加一个旁路，然后对推理结果求和。

       T2I-Adapter和controlnet有两个主要的不同点，从图中可见，其一是在unet的编码阶段增加参数，而controlnet主要是解码阶段；其二是controlnet复制unit的上半部结构，而T2I-Adapter使用不同的模型结构。由于采用较小的模型，因此T2I-Adapter的模型较小，默认下占用M左右，而controlnet模型一般要5G空间。

       首先确保机器上装有3.6版本以上python，然后把代码clone下来。随后安装依赖项，打开requirements.txt，可以看到依赖项的内容。然后下载示例，下载的会放到examples目录下。接着下载sd模型到model目录下，再下载T2I-Adapter的模型到目录下，模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5，也还下载了sd-v1-4.ckpt。

       根据文档，尝试运行一个由深度图生成的例子，下图的左侧是深度图，提示语是"desk, best quality, extremely detailed"，右侧是生成出来的。运行过程比较艰辛，一开始在一台8G显存的服务器上跑，显存不够；重新搭环境在一台G显存的服务器上跑，还是不够；最后用一台G显存的服务器，终于运行起来了。

       接下来尝试跑openpose的例子，下图左侧是骨架图，提示词为"Iron man, high-quality, high-res"，右侧是生成的图像。

       既然能跑推理，那么尝试跑训练。为了后续修改代码运行，目标是准备一点点数据把训练代码跑起来，至于训练的效果不是当前关注的。程序中也有训练的脚步，我们以训练深度图条件为例，来运行train_depth.py。

       显然，习惯了，会有一些问题没法直接运行，需要先做两步工作。准备训练数据，分析代码，定位到ldm/data/dataset_depth.py，反推它的数据集结构，然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt，用于存放数据文件的地址，由于只是测试，我就只添加两行。然后准备，图中的.png和.png是结果图，.depth.png和.depth.png是深度图，.txt和.txt是对应的文本描述。

       文本描述如下，都只是为了把代码跑起来而做的简单设置。设置环境变量，由于T2I-Adapter使用多卡训练，显然我也没这个环境，因此要让它在单机上跑。而代码中也会获取一些环境变量，因此做简单的设置。

       做好准备工作，可以运行程序了，出于硬件条件限制，只能把batch size设置为1。在A显卡跑了约8小时，完成，按默认的配置，模型保存experiments/train_depth/models/model_ad_.pth。那么，使用训练出来的模型试试效果，能生成如下（此处只是为了跑起来代码，用训练集来测试），验证了可以跑起来。

       运行起来，但这还不够，我们还得看看代码是怎么写法，下一篇见。

       PS：《直观理解AI博弈原理》是笔者写的一篇长文，从五子棋、象棋、围棋的AI演进讲起，从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索，一步步介绍AI博弈的原理，而后引出强化学习方法，通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点，值得推荐。

       AUTOMATIC的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术，我们也分析了它的源码实现，写了一系列文章。

AI与PDE（七）：AFNO模型的源代码解析

       本文旨在解析AFNO模型的源代码，帮助读者理解模型细节与主干结构。首先，AFNO模型的主干框架在afnonet.py文件中定义，通过类AFNONet实现。模型的核心功能封装在多个类与函数中，依据代码注释逐步解析。

       在代码中，forward_features函数负责模型的核心逻辑，包括patch切割与mixing过程。这些操作由PatchEmbed类实现。位置编码self.pos_embed通过高斯初始化得到，增加模型的表示能力。

       关键模块AFNO2d位于代码中，它基于FNO的原理，负责处理输入数据。AFNO2d模块在forward_features函数中通过循环调用，实现数据的转换与混合。

       经过数个L layer处理后，模型进入类似解码器的结构，用于将中间结果映射为目标结果。这一过程通过self.head(x)实现，以解决特定分类问题。

       本文通过梳理代码流程与结构图，直观展示了AFNO模型的工作原理。读者可参考AFNO的GitHub源代码与论文，深入理解细节。后续文章将继续探讨基于AFNO模型框架的其他应用，如FourCastNet。