1.像处理（十一）exposure fusion 像曝光融合
2.黑雀攻击-揭秘“Death”僵尸网络背后的鬼影鬼影终极控制者（下篇）
像处理（十一）exposure fusion 像曝光融合
本意是为了学习HDR，高动态范围成像，源码但HDR概念对我来说太复杂了，病毒涉及到硬件和软件。鬼影鬼影我的源码目标是跳过硬件和tone mapping，只做最简单的病毒阅读源码头晕怎么回事多曝光融合，如下列图像
融合成一张
搜索曝光融合，鬼影鬼影出现的源码是《exposure fusion》这篇文章，像素级别的病毒融合，再加上多尺度的鬼影鬼影平滑处理，从现在的源码眼光来看，是病毒非常简单的，OpenCV也实现了这个算法，鬼影鬼影在lightroom中也有应用。源码
尽管原理简单，病毒但实现上有坑，C++写了好几遍过不了，换成Python也错误，看了官方的matlab源码才知道坑。
论文提出了三种计算每个像素融合权重的的方法
对比度
在过曝图像或严重低曝光的区域，图像都基本是或0，因此这些区域是很平滑的，梯度信息几乎为0，hive修改源码这些也是曝光融合中要舍弃的区域——过曝部分缺乏细节，低曝光区域缺乏细节和亮度。因此，论文提出用laplace算子提取图像的梯度信息，梯度信息越小的像素在融合时占据的比重就越小，相反梯度信息越大的像素的比重就越大。对输入的第[公式]张图像[公式]
[公式]
饱和度
同样针对过曝或严重低曝光，二者的饱和度是接近于0的，而那些饱和度高的区域常常是需要保留的区域，因此论文通过三通道的标准差来衡量饱和度大小，以此得到不同的比重
[公式]
亮度
亮度越接近0或者的，很可能就是处在过曝或严重低曝光区域，而亮度在附近的常常可以认为是曝光良好的区域，这些区域的信息在融合过程中要尽量保留，比重尽量大，如下
[公式]
[公式]是方差，论文中取0.2。以上公式是我具体实现时使用的，三通道的比重相乘，为了简单，也可以提取出YCrCb通道，用Y通道算也可以。apisix 源码分析良好曝光不一定取0.5。
上面是人为提出的一些先验知识，接下来验证下是否有效
可以看出，对于严重低曝光的图像，响应值比较高的就是光源附近的细节，这些细节得以保留，而过曝图像往往在这些地方是没有细节的
同上，以亮度为例，该图在天空区域的曝光是良好的，而且具有一定的细节，得以保留
对于这一类局部过曝的图像，背光区域反而得到了较好的曝光，所以图中气球的细节和亮度响应值比较高，得以保留，而天空和光源部分的灰度值偏离、梯度也较小，因此这些过曝的区域的响应值（比重）很小，在融合时被舍弃。
上面根据对比度、饱和度、曝光三方面可以得到每个像素点在融合时的比重，三者合在一起
[公式]
为了防止多张图像融合，字帖 源码 php出现过高或者过低的值，要对[公式]进行归一化
[公式]
多张图像[公式]，各自对应一张归一化的比重图[公式]，融合
[公式]
上面的方法非常简单，但会得到十分粗糙的结果。我在具体实现时，得到的结果会出现很多黑色和纯白色的斑点（灰度值为0），而且存在一些光晕，如下：
经过我追本溯源，发现这是由于多张图像之间的灰度跳变太大导致的——假设现在有图像序列[公式]，在点[公式]处，比重值分别是[公式]，因此在融合时，[公式]点的灰度值主要取决于[公式]；在旁边一个点，[公式]的比重值却是[公式]，融合时就主要取决于[公式]，而从[公式]的灰度值跳变太大，因此最后看起来有很多噪声。相邻点的比重相差会这么大，个人看法是比重由对比度、饱和度、亮度相乘得到，虚拟淘宝源码实际上，很多区域都是接近于0，差不多1e-4的值，三个相乘量级就到了1e-，任意一个指标突然变大变小，权重就一边倒了，基本集中在某一张图像上。理想情况是一系列对比度、饱和度、亮度平滑变化的图像，就不会出现这种问题，但实际也不可能拍这么多精细的图像。
如何解决？一个很直观的想法就是对每张图的权重图做平滑处理，缓解灰度跳变，重新归一化后，再融合，效果如下：
看得出来，有所改善，但还是不够平滑，存在一定程度的光晕，继续加大力度
又好一点了，但天空还是很明显
好像又好一点了！但还是存在一些光晕（后面怎么解决的还不清楚）。
但是每次都对原始分辨率做这么大的计算吗？
这又回到了上次总结的拉普拉斯金字塔融合，构造金字塔解决分辨率过大和滤波核过大的问题，这也是论文提出的方法
使用laplace金字塔，对每张图像分解出laplace金字塔，对应的比重图分解出高斯金字塔，根据比重对laplace金字塔做融合，从低分辨率开始上采样叠加同尺度的融合后laplace细节，即可得到结果，如下：
效果有点惊艳，不仅融合了多张图像中的细节，还保持了良好的曝光，和之前的对比还是很明显的，如过曝这个区域的细节还是很不错的！但为什么和之前直径的高斯模糊相比，解决了光晕，这一点是我暂时无法理解的。
算法十分简单，只要按部就班算出每个点的对比度、饱和度、曝光，结合起来，再加一个laplace金字塔分解，问题貌似就解决了。但我在实际写的时候，得到的结果却是这样的：
饱和度太高了，而且细节也没有得到保留。。。。。。一开始还以为是C++，我索引写错了之类的，重写了几遍都过不了，换成python也是一样的，也是错的，后面还是参考了官方的matlab代码，才发现不同：
即下面两张图的对比
当我把上采样的对象改成了官方的形式，就正常了。
至于为什么会这么差，我想可能是因为一路上采样，丢失的信息太多了，所以采用之前的高斯金字塔的次一级分辨率上采样可以减少信息损失。
代码见我的github
Python 3
鬼影
本篇讨论的多曝光图像融合，默认都是对齐的，但实际上不同时间拍的图像，会因相机抖动和环境的风吹草动，而导致内容有差别，使得最后的融合结果可能出现鬼影，而鬼影(ghost effect)也是HDR融合要解决的主要问题之一。
移动
考虑下面这个例子
可以看到画面中的三个人物都存在较明显的移动，经过上面的exposure fusion像素级融合，就会得到下面的结果
这一类情况下，不保证像素级的对齐，就会出现鬼影。
模糊
和多曝光融合类似的是多焦点融合，不同图像存在不同的局部模糊
保留对比度、饱和度，不计算曝光，得到的融合结果如下:
效果感觉还行，但又不很行 ! 如IMAGE块区域，第一张图有点类似于运动模糊的效果了，在曝光融合这里就近似于"没对齐"，因此融合的结果有一些虚影、鬼影 !
虽然存在如上问题，但这个方法还是给后续的一些研究提供了思路，融合不断频段的信息做图像融合，不仅仅是曝光融合，多焦点融合等。
参考资料
黑雀攻击-揭秘“Death”僵尸网络背后的终极控制者（下篇）
揭示“Death”僵尸网络背后的终极控制者黑雀攻击（下篇）
深入剖析黑雀网络控制结构，我们了解到大黑雀是近个僵尸网络的幕后操纵者，这些网络分布在多个主机上，其中 leiyan.hk 和 www.lxi3.com 控制的僵尸网络最多。"Death"的不同版本，Q版和NB版，展示了黑雀的复杂操控策略。
Q版大黑雀虽然曾通过qlsb.f.net活跃，但该域名已被CNCERT处置，无法追踪其控制端。然而，其编译的僵尸程序代码仍在黑客链中被使用，显示了黑雀的持久影响。Q版黑雀画像中，黑客如缪思、yanke和刘科科等，他们的行为涉及诈骗、DDoS攻击和后门植入，网络活动范围广泛。
NB版黑雀则通过精心设计的后门C&C进行控制，其上线时间策略增加了追踪难度。样本分析揭示了僵尸程序的多种功能，包括内网感染、远程控制和恶意代码执行，攻击手法复杂，对资源消耗大。
同源性分析指出，"Death"与鬼影DDoS v8和Nitol僵尸网络高度相似，可能源于同一份源码。黑雀攻击模式在其他僵尸程序中也有发现，预示着此类威胁的普遍性。总结来看，黑雀攻击不仅威胁着"Death"，也对整个网络安全构成挑战，后续将继续关注其他类似攻击类型。
