1.【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.
2.中国神话宇宙！山谷东方妖怪系列-龙的线源种类
【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.
统计结果详情请参阅前一篇文章。
已将代码开源至GitHub。码山
诚然，谷线此项目为我完成过的山谷最具挑战性的爬虫任务，耗时两天半，线源ecmall微商城源码全无进展。码山
Pixiv的谷线反爬机制使我不得不面对复杂的代码编写。
为了统计各角色的山谷涩图数量，我们需要在Pixiv搜索角色名称。线源对于爬虫而言，码山正确的谷线链接应为：
Pixiv主要使用的语言包括简体中文、繁体中文、山谷日文、线源英文和韩文。码山考虑到《原神》没有俄语版本，我们不统计俄语。
同时，应注意，搜索出的角色名称可能与《原神》无关，因此不能将其纳入统计。
综上，我们的统计逻辑如下：
使用的库包括：
首先，我们需要获取《原神》各角色名称，这可以从《原神》官网爬取。
在实际爬取过程中，网站的语言切换经常失败或自动根据IP地址跳转，甚至返回一半英语一半日文内容。因此，我手动保存了网站各语言的源代码。简体中文名称可直接在《原神》国内官网找到，与国际版类似，但注意，一定注意。
国内官网上刻晴和七七的顺序有误，需要在保存的源代码中调整。
之后，用正则表达式识别各角色的各语言名称，并对一些稻妻角色名称进行适当调整，以增加搜索内容。
注意，原神官网上没有荧和空，需进行特殊处理。
判断作品是否与特定《原神》角色相关的方法是：如果作品中出现其他《原神》角色名称、除本语言外的本角色名称，或包含特定元素（如列表中的mabtlab转源码元素），则认为其与该角色相关。
忽略大小写。
判断标签如下：
标签包括：原神、Genshin、Impact、米哈游、HoYoLAB、원신、HOYOVERSE、miHoYo、蒙德、璃月、须弥、稻妻、枫丹、纳塔、至冬、提瓦特、Mondstadt、Liyue、Inazuma、Sumeru、Fontaine、Natlan、Snezhnaya、爷、派蒙、Paimon、旅行者、履刑者、屑、森林书、兰纳罗、双子、愚人众、Traveller、Traveler、雷音权现、七星、水、火、岩、冰、风、雷、愿望源码社区草、タル蛍、雷**、雷电真、雷**、黄金梦乡、深渊、Abyss、七圣召唤、Twins、崩坏、星穹铁道、爱莉希雅、Elysia、女仆、旅人、Travel、公子、捷德、风花节、海灯节、纠缠、Wish、Pull、海祈岛、珊瑚宫、渊下宫、尘歌、萍姥姥、龙脊雪山、苍风高地、风啸山坡、明冠山地、坠星山谷、珉林、璃沙郊、云来海、碧水原、甜甜花、层岩巨渊、Status、天理、琪亚娜、食岩之罚、仙跳墙、java蓝牙源码佛跳墙、野菇鸡肉串、珊瑚宫、心海、Pyro、Cyro、Hydro、Nature、Anemo、Geo、Dendro、Electro、Swirl、原石、Primogem、Jade、God、Fate、Intertwined、纠缠之缘、Serenitea、Artifact、圣遗物、博士、doctor、同人。
随后，便是核心环节：爬取Pixiv。
由于Pixiv不接受未登录的爬虫，但我们可以巧妙绕过登录接口。我们通过复制登录后浏览器的cookie并写入header。
(关于使用多个cookie的原因，我将在后面解释)
有了cookie，我们在爬取tags时才能获取正常内容。请注意，内容并非直接在HTML页面中返回，而是需要通过请求另一个页面才能获得有意义的信息。特定链接用于生成请求，然后请求获取内容。
链接生成方式简单，通过字符串拼接。
之后，加载JSON数据，使用正则表达式筛选出有用信息。
注意，济公游记源码Pixiv的响应速度较慢，短时间内的请求量过大，会返回空内容，因此需要判断内容是否为空。同时，如果某个tag下面没有内容，返回的也是空值。此外，网络不稳定也可能导致收到空内容或不完整内容。
有时网络状况良好，Pixiv正确处理响应，但返回的内容不完整或与预期不符。
最后，爬取完所有内容后，将page加1，继续爬取下一页内容。Pixiv不会返回错误，而是返回空值。
还需注意，返回的内容可能包含重复信息，需要处理。
如需自写代码，上述问题都需要考虑。我的代码中已考虑并测试通过。
之前提到，Pixiv爬取速度慢，因此我们使用多线程。但多线程容易导致cookie失效，因此采用多个cookie，并设计算法决定使用哪个cookie。如果一次请求失败，该cookie的sleep time增加秒。更换cookie时，需睡眠对应cookie的睡眠时间。成功处理完6个角色（所有语言名称）后，将sleep time重置，避免退化为单cookie模式。
至于main.py运行后的结果可视化，这部分内容较长且主要涉及matplotlib绘图，如有问题可至评论区询问。
代码开源地址：
前一篇文章：
封面（AI）：
荧 / Lumine
中国神话宇宙！东方妖怪系列-龙的种类
感谢您的点赞和关注！
关注我 @空名先生
众所周知，人生是一个漫长的流程，不断克服困难，不断反思前进的过程。在这个过程中会产生很多对于人生的质疑和思考，于是我决定将自己的思考，经验和故事全部分享出来，以此寻找共鸣！！！ 专注于Android/Unity和各种游戏开发技巧，以及各种资源分享（网站、工具、素材、源码、游戏等）
为什么会有这个系列？
作者小空是一名程序员，平时消遣的时候会看小说或者玩游戏，偏向于玄幻神话搞笑种田武侠穿越类的，所以一直有个想法：能够开发一款帮助写手快速写文章的软件（减少素材的寻找）以及某个或多个类型的游戏。所以就有了这个系列，为此来积累素材灵感！！！
注：该系列内容没什么标准，也不具有代表性，本身就是历史发展传说和想象的结合产物，请自行辨别。
系列文章
中国神话宇宙资料第十六更！！！
空名先生：中国神话宇宙！上古洪荒神话系列-上古十大凶兽
空名先生：中国神话宇宙！上古洪荒神话系列-上古十大神兽
空名先生：中国神话宇宙！上古洪荒神话系列-上古十大神器
空名先生：中国神话宇宙！上古洪荒神话系列-上古十二巫族魔神
空名先生：中国神话宇宙！上古洪荒神话系列-开天五帝
空名先生：中国神话宇宙！上古洪荒神话系列-五帝之三-喾（kù）
空名先生：中国神话宇宙！上古洪荒神话系列-五帝之四-尧
开始积累
蛟
一般指能发洪水的鳞甲龙。 传说蛟龙得水，能造云雾，能飞上天。 在古代文献中经常使用它来描述有才华的人表演的机会。 关于蛟的由来和形状，古典文献中众说纷纭，有的说“没有角的龙叫蛟”，也有的说“有鳞的龙叫蛟龙”。 而《墨客挥犀》第三卷则更为具体：蛟形如蛇，头如虎，长者可达数丈。 蛟若在岸边或山谷中看到行人，他会用嘴里的唾液围住他们，使人掉进水里，他会从胳膊下吸血，直到血流光为止。 岸边人和船民经常受苦。 刘义庆《世说新语》中，有 周处斩蛟的故事。 蛟可能是一条鳄鱼。
夔kuí龙
想象中的单足怪物是龙的萌芽阶段。 《山海经·大荒东经》形容夔为：“如牛，苍白无角，一足，出水必有风雨，光如日月，声如雷，名曰夔。 但更多的古籍说，夔是蛇形的怪物。在商末西周青铜器的纹饰中，夔龙纹是主要纹样之一，形象多为长条，以直线为主，弧线为辅，具有古朴的美感。
虺huī
一条早期的龙，形式蛇，经常在水中。 “虺五百年成龙，蛟千年成龙。” 这是龙的幼年。 出现在西周青铜器的纹饰上，但并不多。
虬qiú
一般来说，没有角的小龙被称为虬龙，是成长中的龙。 因此，古文献中有这样一句话：“有角曰虬，无角曰龙” 又有人说，幼龙长了角，就叫虬。 两种说法有区别。 但他们都将成长中的龙称为虬。
蟠螭（pán chī）
它是龙属的蛇形怪物，是早期的没有角的龙。 在《广雅》藏书中，有“无角龙”的描述。 盘池也有两个版本，一个是指黄无角龙，一个是指母龙。 春秋至秦汉时期，青铜器、玉雕、铜镜或建筑上，常用蟠螭的形状作装饰，其形式有单螭、双螭、三螭、五螭乃至群螭多种。或作衔牌状，或作穿环状，或作卷书状。
角龙
指角龙。 《书易记》云：“蛟千年化龙，龙化角龙需五百年。” 虬龙是龙族中的老者。
应龙
有翼的龙叫应龙。 据《书易记》记载：“龙为角龙要五百年，龙化应龙要一千年。” 应龙堪称龙之精华，所以长出了翅膀。 相传，应龙是古代黄帝的神龙。 它曾奉黄帝之命袭击蚩尤，杀蚩尤成为英雄。 禹治水时，神龙曾以尾巴扫地，为分水立下了汗马功劳。 这神龙也叫黄龙，黄龙就是应龙，所以应龙也是禹的英雄。 应龙的特点是两翅、鳞片、头大而长、鼻尖、鼻眼耳小、眼窝大、眉弓高、牙齿尖、前额突出、颈细腹大、尾巴尖 . 四肢长而强壮，像有翼的扬子鳄。 在战国时期的玉雕、汉代的石雕、帛画、漆器中，经常出现应龙的形象。
火龙
就是一条带有火buff的龙。 周身被紫火包围，火龙所过之处，一切都会被烧焦。
蟠龙
指蛰伏在地，尚未升天的龙。 龙的形状盘绕在周围。 在中国古代建筑中，龙盘绕在柱子上、龙在装饰梁上和天花板上，通常被称为蟠龙。 《太平御览》中对蟠龙有另一种解释：“蟠龙，四尺长，蓝黑色，常随水而下，入海。有毒，会杀人。”把蟠龙和蛟、蛇之类的混在一起。
青龙
为“四灵”或“四神”之一，又称苍龙。 中国古代天文学家将天上的几颗恒星划分为个星区，即宿，以观察月亮的运行和划分季节，并将宿分为四组，每组七宿，分别为东、南、西、北四个方向，青、红、白、黑四种颜色与龙、鸟、虎、玄武（龟蛇相交）四种动物相配，称为“四象”或“四宫”。 龙代表东方，蓝色，故称“东宫青龙”。 秦汉时期，“四象”成为“四灵”或“四神”（龙、凤、龟、林），神秘色彩越来越浓。 汉代“东宫苍龙星座”画像石，现藏南阳汉美术馆，由一条龙和十八颗星组成。
鱼龙
它是龙头鱼身的龙，《说苑》中有“昔日白龙下清冷之渊化为鱼”的记载，《长安谣》有“东海大鱼化龙”的记载。 民间传说中的鲤鱼跃龙门，都讲述了龙鱼互变的故事。 这种造型早在商代晚期就出现在玉雕中，历代都有发展。
作者：小空和小芝中的小空 转载说明：务必注明来源： zhihu.com/people/zhimal... 这位道友请留步☁️，我观你气度不凡，谈吐间隐隐有王者霸气 ，日后定有一番大作为 ！！！旁边有点赞 收藏 今日传你，点了吧，未来你成功☀️，我分文不取，若不成功⚡️，也好回来找我。
关注我 @空名先生
『更多专栏』：