1.FFmpeg API深度解析：视频流画面合并、融合融合拼接与裁剪技巧
2.FinClip小程序+Rust（四）：端到端融合
3.TSLint 和 ESLint 是源码源码怎么融合在一起的
4.FPGA高端项目：解码索尼IMX327 MIPI相机+2路视频融合叠加，提供开发板+工程源码+技术支持
5.Apollo perception源码阅读 | fusion之D-S证据理论
6.UE4 LevelSequence源码剖析（一）

FFmpeg API深度解析：视频流画面合并、精灵拼接与裁剪技巧

       FFmpeg深度探索：视频流的融合融合魔术拼接、裁剪与融合技巧

       1. 神奇拼接，源码源码艺术创作

       将视频片段无缝连接，精灵怎么看bootstrap源码如同艺术创作，融合融合FFmpeg API提供强大的源码源码工具。av_read_frame如同探索宝箱，精灵av_frame_alloc和av_frame_copy则是融合融合大师级的融合手法。了解这些函数，源码源码掌握视频流的精灵编织艺术。

       2. 无缝对接，融合融合画面融合

       新闻直播与录播的源码源码无缝结合，FFmpeg为你提供关键步骤。精灵首先，通过av_read_frame获取帧，然后用av_frame_alloc为合并帧备好画布，用av_frame_copy实现画面的无缝对接。注意帧大小和时间戳管理，以保证播放的流畅性。

       3. 示例代码的炼金术

       extern "C" { ... // FFmpeg库头文件 ... int main() { ... // 初始化，炼制你的视频魔法 ... } }

       这段代码揭示了如何在FFmpeg的世界中，通过av_frame_copy的精确操作，保持原始帧数据的完整性，为视频处理添加特效和水印。

       4. av_frame_copy的精妙之处

       复制帧数据时，务必注意像素格式、引用计数等问题，理解其背后的原理，以避免潜在问题。深入libavutil/frame.c源码，解锁复制技巧的奥秘。

       5. 拼接艺术的实用技巧

       对于高亮片段或视频组合，FFmpeg的API函数如av_interleaved_write_frame确保了时间顺序的连贯性，让视频片段的融合如诗如画。

       6. 实践操作指南

       以av_read_frame起航，av_interleaved_write_frame完成视频拼接之旅。

       从头到尾，保持清晰的逻辑和代码注释，实现高效与清晰的视频处理。

       Linux内核中的多媒体设备交互代码提供了深入理解的窗口，就像《庄子》中“道生万物”的哲学启示。

       通过细致的参数调整，如时间基准调整和质量优化，FFmpeg API让你在处理视频时游刃有余，无论是裁剪、拼接还是其他复杂任务，都能得心应手。

       7. 结语

       在FFmpeg的编译安装python源码卡住世界里，每一行代码都是一次艺术与技术的碰撞。掌握API，你就能驾驭视频流，创造出令人惊叹的作品。记住，知识是智慧的钥匙，谦逊是进步的阶梯。

FinClip小程序+Rust（四）：端到端融合

       前言

       在《FinClip小程序+Rust（二）》中，我们成功实现了iOS原生应用集成FinClip SDK，并将Rust代码编译为适用于iOS的目标码。在《FinClip小程序+Rust（三）》中，我们利用Rust实现了一个基于椭圆曲线加密的加密货币钱包功能。接下来，我们将探索如何将Rust实现的加解密功能融入FinClip SDK，构建一个能够承载Web3应用的小程序平台。

       我们的目标是开发一个原生应用，其中集成Rust实现的加密算法，如内存安全、性能优秀的跨平台功能，然后通过FinClip SDK将各种Web3应用以小程序形式呈现。

       回顾项目目录，Rust部分工作已经完成。

       将Rust函数注入至FinClip SDK

       接下来，我们采用《FinClip小程序+Rust（二）》的方法，为iOS生成一个封装应用，命名为“clip”。在iOS目录下操作后，我们得到了以下代码结构。

       为了实现Rust函数与FinClip SDK的集成，我们将重点编辑AppDelegate和ViewController，并增加一个singleton实现。

       注入自定义API扩展FinClip SDK的原理

       FinClip SDK提供了一个嵌入式的小程序引擎，宿主应用通过这个引擎可以扩展标准SDK能力，以支持广泛的应用场景。要注入自定义API，开发者需要关注API的同步或异步调用类型，并在注册时使用相应的接口。

       对于同步调用，API的入参和返回值都应为字典类型，且内部不能包含无法序列化的对象。API函数返回值字典中必须包含errMsg，成功时内容为":ok"，失败时内容为":fail"。若需添加额外提示信息，可将信息放在errMsg后的括号中。

       将Rust输出的函数封装为FinClip可接受的API

       FinClip SDK接受的API签名需为字典入参和字典返回值。我们需对Rust函数进行一一对应的包装，此过程较为繁琐，主要包括字典入参转换为Rust/C函数入参，cas登录流程源码讲解以及Rust/C函数返回值转换为字典。

       在加密钱包示例中，Rust侧通过FFI输出了四个C-style接口。我们需将这些函数映射到Objective-C接口，以便注册至FinClip SDK。

       封装发生在哪里

       机械性的映射、封装和数据转换代码应写在AppDelegate中，与FinClip SDK初始化一同进行。然而，这不是优雅的解决方法。

       我们决定创建一个名为FinClipExt的类（FinClipExt.h/.m），实现为singleton，将所有注册到FinClip SDK的API封装于此。头文件已准备就绪，实现部分简化。

       如何在AppDelegate中“登记”API

       在iOS wrapper应用中，我们通过Objective-C开发FinClipSDK初始化，并在AppDelegate中进行注册。首先确认Rust library生成的C头文件位置，确保Xcode能找到并将其添加到“Header Search Path”。同时，确保librustywallet.a等文件已添加到“Library Search Path”。

       在AppDelegate.m中完成初始化和注册，特别注意提供给FinClip SDK的target应为FinClipExt singleton。

       FinClip小程序调用自定义接口

       为了演示Rust实现的加密算法的使用，我们开发了一个接近于"paper wallet"的钱包小程序。每次打开时，它调用Rust函数生成公开地址、公钥和私钥。

       在小程序中，通过“ft”系统全局变量访问注册成功的API，实现与FinClip标准系统接口的交互。

       如何测试与上架

       对于简易的加密钱包小程序，我们展示了使用FinClip IDE和FinClip助手工具进行开发调试。首先，通过IDE模拟器在电脑上测试小程序。接着，使用手机端的FinClip App扫描二维码，在真机上进行测试。

       在测试涉及自定义API功能时，需要依赖Xcode启动iOS模拟器，加载宿主App和小程序进行验证。为了形成流畅的开发测试闭环，开发者需要利用FinClip社区版服务，完成小程序代码的上传和发布过程。

       在社区版本地部署形成调试闭环

       关键步骤包括在社区版企业端配置关联“合作应用”，指向宿主App的FinClip SDK初始化设置。在社区版企业端创建小程序，并关联至宿主应用。预测最准的指标源码在宿主App中，通过按钮入口加载测试小程序。最后，IDE与社区版服务连接，完成小程序的上传和管理。

       “联调”过程

       开发者将独自扮演不同角色，如小程序开发者、宿主App开发者、跨平台通用逻辑开发者等，完成整个开发测试过程。在测试过程中，Rust部分代码可能需要迭代和优化，这涉及Rust代码的编译、构建，以及重复上述步骤。

       尽管此过程看似复杂，涉及多种工具和语言，但有助于开发者清晰地划分角色，分模块管理。在实际开发中，团队协作可以简化此过程，FinClip的开发测试工具链也在持续优化，以提供更平滑的自定义API支持和小程序运行的开发测试闭环。

       相关资源

       欲了解更多内容，请访问GitHub源代码：github.com/kornhill/fin...

TSLint 和 ESLint 是怎么融合在一起的

       Eslint 能够对 JavaScript 代码进行静态检查，涵盖逻辑错误和代码格式问题。其工作原理是将代码解析成抽象语法树（AST），然后基于 AST 检测问题。

       同样，Tslint 也是一款静态检查工具，用于检测 TypeScript 代码中的逻辑错误和代码格式问题，其原理也是基于 AST。

       既然两者都基于 AST 且功能相似，为何不将它们合并呢？

       最终，Tslint 被整合进了 Eslint，Tslint 被标记为废弃。

       然而，两者毕竟基于不同的 AST，且 Tslint 中包含一些类型检查的逻辑，这是 Eslint 所不支持的。那么，它们是如何融合的呢？接下来，我们一起来探究。

       不同的 AST

       Eslint 使用 espree 作为自己的解析器，并生成相应的 AST。

       Typescript 和 Babel 也都有各自的解析器和相应的 AST。

       这些 AST 之间存在怎样的关系呢？

       最早的解析器是 esprima，它参考了 Mozilla 浏览器 SpiderMonkey 引擎的 AST 标准，并进行了扩充，智云社区平台源码形成了 estree 标准。

       后续的许多解析器都是对 estree 标准的实现和扩展，如 esprima、espree、babel parser（babylon）、acorn 等。

       当然，也有不是 estree 标准的，如 typescript、terser 等的解析器。

       它们之间的关系如图所示：

       esprima 和 acorn 都是 estree 标准的实现，而 acorn 支持插件机制来扩充语法，因此 espree 和 babel parser 是直接基于 acorn 实现的。

       terser、typescript 等则是另一套。

       因此，对于 JavaScript 的 AST，我们可以简单划分为两类：estree 系列、非 estree 系列。

       可以使用 astexplorer.net 工具来可视化地查看不同解析器产生的 AST。

       espree 就是 Eslint 自己实现的解析器，但它主要进行代码的逻辑和格式的静态检查，在新语法的实现进度上不如 babel parser。因此，Eslint 支持解析器的切换，可以在配置不同的解析器来解析代码。

       配置文件中可以配置不同的解析器，并通过 parserOptions 来配置解析选项。

       下面分别讲解 Eslint、typescript、babel、vue 等的解析器如何在 Eslint 中使用：

       而且，在单文件组件中的 JS 部分，还可以分别指定不同的解析器。

       感觉有点晕吗？typescript、babel、vue 等的解析器都有相应的用于 Eslint 的版本。其实想想也很正常，因为 lint 是基于 AST 的，如果不能解析，那么如何进行 lint，所以需要支持解析器的扩展和切换。

       但是，解析器之后的 AST 可能不同，那么 lint 的规则实现也不同。为了复用规则，大家还是尽量往 estree 标准上靠比较好。

       Tslint 和 Eslint 的融合也是这样的思路，下面我们来详细了解一下。

       Tslint 融合进 Eslint

       Tslint 是一个独立的工具，基于 TypeScript 的解析器来解析代码，并实现了基于该 AST 的一系列规则。

       如果要融合进 Eslint，那么如何融合呢？主要考虑的是 AST 如何融合，因为规则是基于 AST 的。

       例如，const a = 1; 这段代码，estree 系列的 AST 是这样的：

       而 TypeScript 的 AST 是这样的：

       由于 AST 不同，那么基于 AST 的规则肯定也要有不同的实现。

       如何融合呢？转换！把一种 AST 转成另一种 AST 就行了。

       没错，@typescript-eslint/parser 中确实也是这么做的，它把 TypeScript 的 AST 转换成 estree 的 AST（当然，对于类型部分，estree 中没有，就保留了该 AST，但加上了 TS 前缀）。这样，就能够用 Eslint 的规则来检查 TypeScript 代码中的问题。

       下面简单看一下 @typescript-eslint/parser 的源码：

       我简化了一下，是这样的：

       首先通过 TypeScript 的解析器将源码解析成 AST，然后转换成 estree 的，并记录了 estree node 和 TypeScript node 的映射关系，通过两个 map 来保存。

       具体的转换过程，其实就是遍历 TypeScript 的 AST，然后创建新的 estree 的 AST。

       其中，对于 estree 中没有的类型相关的 AST，则直接复制，并在 AST 名字前加个 TS。

       这样，就把 TypeScript 解析器产生的 AST 转成了 estree 的。

       既然 AST 统一了，那么 Eslint 的规则就可以用来 lint TypeScript 代码了。

       但是对于一些类型的部分，还是需要用 TypeScript 的 API 来检查 TypeScript 的 AST 怎么办呢？

       还记得我们保存了两个 map 吗？estree node 到 TypeScript node 的 map，还有反过来的 map。这样，需要用到 TypeScript 的 AST 的时候，再映射回去就行了：

       Eslint 的自定义解析器的返回结果中，除了有 ast，还支持返回 services，这是用于放置一些其他信息的，比如这里用到的 map，还有 TypeScript 的 program 的 API（比如 program.getTypeChecker 这种）。需要的时候就可以从 estree 的 ast 再映射回 TypeScript 的 ast 了。

       通过把 TypeScript AST 映射成 estree AST，达到了复用 Eslint 规则的目的，并保存了节点映射关系和一些操作 TypeScript AST 的 API，可以基于这些单独做 TypeScript 相关的 lint。完美地融合到了一起。

       可以把这种融合用“求同存异”来总结：

       总结

       JavaScript 有不同的解析器，分为 estree 系列、非 estree 系列：

       Eslint 支持解析器的切换，可以在 babel parser、vue template parser、typescript 和 espree 中切换，当然也可以扩展其他解析器。

       Tslint 是一个基于 TypeScript 解析的独立工具。它和 Eslint 都是基于 AST 检查代码中逻辑和格式错误的工具，后来进行了融合。

       为了复用基于 estree 的一些规则，@typescript-eslint/parser 把 TypeScript node 转成了 estree node，但依然保留了映射关系和一些操作 TypeScript ast 的 API。

       这样基于 estree AST 的规则可以正常运行，基于 TypeScript AST 的规则也可以映射回原来的 TypeScript node 然后运行。

       通过这种方式，完美地把 Eslint 和 Tslint 融合在一起。还是挺巧妙的。

FPGA高端项目：解码索尼IMX MIPI相机+2路视频融合叠加，提供开发板+工程源码+技术支持

       FPGA高端项目：索尼IMX MIPI相机解码与2路视频融合叠加开发

       在FPGA图像处理领域，MIPI协议因其复杂性和技术挑战而备受瞩目。为简化开发，我们基于Xilinx Kintex7-T FPGA开发板，设计了一个方案，专门针对索尼IMX MIPI相机的4 Lane RAW模式视频进行解码，输出分辨率为x@Hz。利用自研的MIPI CSI RX解码IP，我们将原始RAW视频转换为AXI4-Stream格式，并进行后续的图像处理，包括Bayer转RGB、白平衡、色彩校正等，以达到显示质量要求。

       融合叠加功能上，我们采用HLS方法，通过SDK灵活配置2路视频的透明度和叠加位置。视频被缓存在DDR3中，通过VDMA进行高效同步，并通过HDMI输出到显示器。针对索尼IMX的FPGA解码源码，我们提供了详细的工程1，包括相机连接、开发板配置和VGA同步等步骤。该方案适用于高端FPGA图像处理，适用于公司项目、研究机构和高校开发，也适合个人学习。

       我们的MIPI解码IP和图像处理模块都已整理在专门的MIPI编解码专栏中，支持Xilinx、Altera和Lattice等平台。此外，我们还提供了专用的开发板和配套的详细设计文档，帮助用户快速上手并进行个性化项目定制。

       要开始上板调试，你需要准备本博开发板、IMX相机、HDMI显示器等设备。我们还提供了工程代码的获取方式，以网盘链接的形式提供方便下载。如有任何移植或配置问题，文章末尾提供了相关注意事项和解决方法。

Apollo perception源码阅读 | fusion之D-S证据理论

       本文为Apollo感知融合源码阅读笔记，建议参照Apollo6.0源码阅读本文，水平有限，有错误的地方希望大佬多加指正！

       理解D-S证据理论原理，重点在于对交集的乘积求和，关键概念包括mass函数、信度函数和似真度函数。其中，Dempster-Shafer合成公式将单个交集的乘积除以所有交集的乘积，Bel(A)表示找A的子集mass相加，Pl(A)表示找A的交集mass相加。

       在Apollo的融合-D-S证据理论中，存在和类型使用D-S证据理论进行更新，详细实现包括Dst、DstManager和DSTEvidenceTest等类。Dst类是核心实现，计算mass函数、信度函数、似真度函数和概率值、不确定性值。DstManager类负责假设空间元素处理，便于Dst类计算。DSTEvidenceTest类提供测试案例。

       存在概率融合（existence_fusion）主要在UpdateWithMeasurement函数中实现，根据传感器数据计算当前概率值，然后对观测和航迹概率值进行D-S证据理论融合，得到融合后的概率值。类型融合（type_fusion）同样在UpdateWithMeasurement函数中，假设空间和观测的mass函数初始化后直接合成。

       形状更新（fusion-形状更新）部分简单明了，优先使用lidar形状，然后是camera形状，最后使用radar形状进行更新。中心点的更新也直接透传。

       结语，文章内容涉及D-S证据理论原理、Apollo源码实现细节以及存在、类型和形状的融合部分。文章结构清晰，深入浅出地介绍了Apollo融合部分的核心算法和实现逻辑。通过理解D-S证据理论及其在Apollo中的应用，读者可以更好地掌握感知融合的原理和实现方法。

UE4 LevelSequence源码剖析（一）

       UE4的LevelSequence源码解析系列将分四部分探讨，本篇聚焦Runtime部分。Runtime代码主要位于UnrealEngine\Engine\Source\Runtime\MovieScene目录，结构上主要包括Channels、Evaluation、Sections和Tracks等核心模块。

       ALevelSequenceActor是Runtime的核心，负责逐帧更新，它包含UMovieSceneSequence和ULevelSequencePlayer。ALevelSequenceActor独立于GameThread更新，并且在Actor和ActorComponent更新之前，确保其在RuntTickGroup之前执行。

       IMovieScenePlaybackClient的关键接口用于绑定，编辑器通过IMovieSceneBindingOwnerInterface提供直观的蓝图绑定机制。UMovieSceneSequence是LevelSequence资源实例，它支持SpawnableObject和PossessableObject，便于控制对象的拥有和分离。

       ULevelSequencePlayer作为播放控制器，由ALevelSequenceActor的Tick更新，具有指定对象在World和Sublevel中的功能，还包含用于时间控制的FMovieSceneTimeController。UMovieSceneTrack作为底层架构，由UMovieSceneSections组成，每个Section封装了Section的帧范围和对应Channel的数据。

       序列的Eval过程涉及EvalTemplate和ExecutionTokens，它们协同工作模拟Track。FMovieSceneEvaluationTemplate定义了Track的模拟行为，而ExecutionTokens则是模拟过程中的最小单元。真正的模拟操作在FMovieSceneExecutionTokens的Apply函数中执行，通过BlendingAccumulator进行结果融合。

       自定义UMovieSceneTrack需要定义自己的EvaluationTemplate，这部分将在编辑器拓展部分详细讲解。序列的Runtime部分展示了如何在GameThread中高效管理和模拟场景变化，为后续的解析奠定了基础。

强化学习ppo算法源码

       在大模型训练的四个阶段中，强化学习阶段常常采用PPO算法，深入理解PPO算法与语言模型的融合可通过以下内容进行学习。以下代码解析主要参考了一篇清晰易懂的文章。

       通过TRL包中的PPO实现，我们来逐步分析其与语言模型的结合过程。核心代码涉及到question_tensors、response_tensors和rewards，分别代表输入、模型生成的回复和奖励模型对输入加回复的评分。

       训练过程中，trainer.step主要包含以下步骤：

       首先，将question_tensors和response_tensors输入语言模型，获取all_logprobs（每个token的对数概率）、logits_or_none（词表概率）、values（预估收益）和masks（掩码）。其中，如果没有设置return_logits=True，logits_or_none将为None，若设置则为[batch_size, response_length, vocab_size]。

       接着，将输入传递给参考语言模型，得到类似的结果。

       计算reward的过程涉及reference model和reward model，最终的奖励rewards通过compute_rewards函数计算，参考公式1和2。

       计算优势advantage，依据公式3和4调整。

       在epoch和batch中，对question_tensors和response_tensors再次处理，并设置return_logits=True，进入minbatch训练。

       训练中，loss分为critic_loss（评论家损失，参考公式8）和actor_loss（演员损失，参考公式7），两者通过公式9合并，反向传播更新语言模型参数。

       PPO相较于TRPO算法有两大改进：PPO-Penalty通过拉格朗日乘数法限制策略更新的KL散度，体现在actor_loss中的logprobs - old_logprobs；PPO-Clip则在目标函数中设定阈值，确保策略更新的平滑性，pg_losses2（加上正负号）部分体现了这一点。

       对于初学者来说，这个过程可能有些复杂，但理解和实践后，将有助于掌握PPO在语言模型中的应用。参考资源可继续深入学习。