1.UE4：Niagara扩展CameraQuery支持CPU获取ViewSize
2.搭建一个摄像头应用程序 应用程序内部摄像头
3.Android音视频(一) Camera2 API采集数据
4.OpenHarmony Camera源码分析
5.UVC Camera使用简单记录
6.esp32cam camera_web_server去掉功能选项

UE4：Niagara扩展CameraQuery支持CPU获取ViewSize

       在使用UE4中的源码Niagara系统进行粒子系统开发时，遇到过一个需求：需要在CPU粒子系统中获取ViewSize参数，下载而该参数在CameraQuery组件中仅提供了一个支持GPU的源码方法。为了解决这个问题，下载我们探究了如何在Niagara系统中实现CPU获取ViewSize的源码方法。

       首先，下载掼蛋app源码创建一个NiagaraScript并添加CameraQuery节点，源码目的下载是获取ViewSize参数。在MapGet节点中拉出一个Get方法，源码可以看到该方法支持CPU还是下载GPU。然而，源码由于添加了一个不支持的下载方法，编译时会报错。源码因此，下载我们需要实现一个在CPU粒子系统中获取ViewSize的源码解决方案。

       通过查看CameraQuery的源码，发现GetViewPropertiesGPU函数在注释中被标记为CPU模拟实现，实际并未获取任何数据。进一步研究其他CPU函数的实现，我们了解到数据实际上是从Context的FCameraDataInterface_InstanceData中获取的。通过VectorVM::FExternalFuncRegisterHandler的方式，将获取到的值传递到输出pin，完成了数据从实例数据到输出的传递。

       接着，关注到UNiagaraDataInterfaceCamera::GetCameraProperties函数中的完整流程，它更详细地展示了如何添加输出、获取值和赋值的操作。通过分析FCameraDataInterface_InstanceData的初始化和PerInstanceTick函数，我们了解到摄像机参数是tis源码通过从World和PlayerController获取的，而这些操作在Tick函数中进行。确认了摄像机参数的获取过程合理，并支持编辑器模式下的正常获取。

       在GetFunctions函数中，添加输出和方法的定义时，需要注意函数名、支持CPU/GPU的标志以及是否为成员函数等细节。在GetFunctionHLSL中，只关注CPU方法的实现，通过函数的DefinitionName获取HLSL代码。

       为了在CameraQuery中增加获取ViewSize的方法，我们需要在FCameraDataInterface_InstanceData结构体中增加相应的参数，并在PerInstanceTick函数中进行赋值。同时，修改GetFunctions和GetFunctionHLSL以支持CPU粒子系统。最后，通过绑定GetVMExternalFunction完成方法的实现。

       实现后，可以通过任意的Material进行调试，并在编辑器中查看结果，验证方法的正确性。这样，我们不仅解决了获取ViewSize的需求，还为Niagara系统的CPU粒子系统增加了更多灵活性。

搭建一个摄像头应用程序 应用程序内部摄像头

       在许多应用程序中，集成一个应用程序内部的摄像头功能是可能的。Flutter 提供了一个名为 camera 的 pub.dev/packages/camera 插件，它允许我们在项目中实现这一需求。猎鸟源码首先，在 pubspec.yaml 文件中添加 camera 插件以安装到项目中。确保设备支持 iOS .0 或更高版本，并在 Info.plist 文件中设置相应的参数。对于 Android，将 app/build.gradle 文件中 Android SDK 的最小版本更新为 或更高。

       接下来，创建两个屏幕：CameraScreen 和 GalleryScreen。CameraScreen 将显示相机输出并允许用户拍摄，而 GalleryScreen 则用于在网格视图中显示捕获的。

       在 main.dart 文件中，通过加载相机预览并将其传递给 CameraScreen。使用 camera 插件提供的方法初始化选定的相机，如后置摄像头。然后在 CameraScreen 中创建实时相机预览，并添加三个按钮以支持切换相机、拍摄照片和查看画廊功能。

       为了实现摄像头在前后之间的切换，可使用相同的初始化方法并动态更改 cameraIndex。点击捕获按钮时，使用相机控制器拍摄照片，并将添加到数组中。点击显示画廊按钮，导航至 GalleryScreen 并显示已捕获的。

       在 GalleryScreen 中，获取捕获的图像列表并在 GridView 中显示。通过这些屏幕和功能，您已经具备了一个基本的kol源码内部摄像头应用程序。

       使用 camera 插件，您还能捕捉视频。通过 startVideoRecording、pauseVideoRecording 和 stopVideoRecording 方法，可以实现视频录制功能。完成项目构建后，即可看到最终效果。

       该项目的源代码已发布在 GitHub，供您参考和学习。

       github.com/jagrut-/fl...

Android音视频(一) Camera2 API采集数据

       深入剖析Android音视频技术，本文聚焦于Camera2 API的采集数据功能。在Android API中，Google以Camera2取代了原本的Camera，带来了显著的变革。

       Camera2的核心是pipeline（管道）概念，它将Android Device与Camera Device相连，通过管道发送CaptureRequest请求，并接收CameraMetadata数据，整个过程在名为CameraCaptureSession的会话中实现。

       在Camera2架构中，关键类角色包括CameraManager、CameraDevice、CameraCharacteristics、CameraRequest、CameraRequest.Builder、CameraCaptureSession以及CaptureResult。CameraManager用于管理系统摄像头，CameraDevice与硬件摄像头直接联系，ubuntunfs源码CameraCaptureSession则为Android Device与Camera Device之间的管道，负责数据交流。

       CameraCaptureSession是核心，用于配置捕获请求，并在预览、拍照、再次预览时使用。它在配置成功时触发onConfigured方法，配置失败时触发onConfigureFailed方法。此外，它还管理捕获回调，用于接收捕获请求的状态信息。

       CameraCharacteristics描述了CameraDevice的属性，可以通过CameraManager查询。CameraRequest与CameraRequest.Builder用于描述捕获的参数设置，包括硬件配置、对焦模式、曝光模式等。CaptureResult则包含了从图像传感器捕获单个图像的结果的子集。

       为了深入理解Camera2 API，Google提供了两个示例程序：android-Camera2Basic和android-Camera2Video。这些示例涵盖了预览、拍照、录像等功能，是学习入门的优秀资源。通过回顾整个流程，可以更深刻地理解Camera2 API的使用。

       流程大致如下：

       打开摄像头

       创建会话，开始预览

       拍照

       录像

       了解MediaRecorder录制视频的相关代码后，可以更全面地掌握Camera2 API在预览、拍照和录像过程中的应用。

       总之，Camera2 API的采集数据功能复杂且重要，后续会继续深入分析原理和源码，为Android开发提供更全面的技术支持。

OpenHarmony Camera源码分析

       当前，开源在科技进步和产业发展中扮演着越来越重要的角色，OpenAtom OpenHarmony（简称“OpenHarmony”）成为了开发者创新的温床，也为数字化产业的发展开辟了新天地。作为深开鸿团队的OS系统开发工程师，我长期致力于OpenHarmony框架层的研发，尤其是对OpenHarmony Camera模块的拍照、预览和录像功能深入研究。

       OpenHarmony Camera是多媒体子系统中的核心组件，它提供了相机的预览、拍照和录像等功能。本文将围绕这三个核心功能，对OpenHarmony Camera源码进行详细的分析。

       OpenHarmony相机子系统旨在支持相机业务的开发，为开发者提供了访问和操作相机硬件的接口，包括常见的预览、拍照和录像等功能。

       系统的主要组成部分包括会话管理、设备输入和数据输出。在会话管理中，负责对相机的采集生命周期、参数配置和输入输出进行管理。设备输入主要由相机提供，开发者可设置和获取输入参数，如闪光灯模式、缩放比例和对焦模式等。数据输出则根据不同的场景分为拍照输出、预览输出和录像输出，每个输出分别对应特定的类，上层应用据此创建。

       相机驱动框架模型在上层实现相机HDI接口，在下层管理相机硬件，如相机设备的枚举、能力查询、流的创建管理以及图像捕获等。

       OpenHarmony相机子系统包括三个主要功能模块：会话管理、设备输入和数据输出。会话管理模块负责配置输入和输出，以及控制会话的开始和结束。设备输入模块允许设置和获取输入参数，而数据输出模块则根据应用场景创建不同的输出类，如拍照、预览和录像。

       相关功能接口包括相机拍照、预览和录像。相机的主要应用场景涵盖了拍照、预览和录像等，本文将针对这三个场景进行流程分析。

       在分析过程中，我们将通过代码注释对关键步骤进行详细解析。以拍照为例，首先获取相机管理器实例，然后创建并配置采集会话，包括设置相机输入和创建消费者Surface以及监听事件，配置拍照输出，最后拍摄照片并释放资源。通过流程图和代码分析，我们深入理解了拍照功能的实现。

       对于预览功能，流程与拍照类似，但在创建预览输出时有特定步骤。开始预览同样涉及启动采集会话，并调用相关接口进行预览操作。

       录像功能则有其独特之处，在创建录像输出时，通过特定接口进行配置。启动录像后，调用相关方法开始录制，并在需要时停止录制。

       通过深入分析这三个功能模块，我们对OpenHarmony Camera源码有了全面的理解，为开发者提供了宝贵的参考和指导。

       本文旨在全面解析OpenHarmony Camera在预览、拍照和录像功能上的实现细节，希望能为开发者提供深入理解与实践的指导。对于感兴趣的技术爱好者和开发者，通过本文的分析，可以更深入地了解OpenHarmony Camera源码，从而在实际开发中应用这些知识。

UVC Camera使用简单记录

       ç¨‹åºæ˜¯æ ¹æ® UVCCamera 去修改的。

        使用过程中遇到的几点关键问题：

        1.YUV 格式：NV等格式。

        2.YUV转RGB效率问题。

        3.Bitmap内存泄漏问题。

        4.Handler内存泄漏的问题

        首先onFrame(这是camera取图的callBack函数，byte[] data就是camera的数据)中不能做耗时操作（例如将data转bitmap等操作），不然会阻塞（之前把这个操作放到这里然后直接将bitmap传出）导致卡顿。

        在传输byte[]数据之后，需要将byte[]转bitmap。

        在byte[] 转bitmap的过程中，由于创建了过多的Bitmap，会导致内存泄漏，程序崩溃。

        因此1.将Bitmap设置为静态变量，避免重复创建的问题。2.修改byte[] 转bitmap的函数，原来函数是返回Bitmap，现在是将Bitmap作为参数传入函数中，直接将Bitmap数据传递出去。减少了一个返回的步骤。

        之前是这样的：

        现在是这样的：

        后面就是通过handleImage将Bitmap显示在ImageView上。

        NV转bitmap的问题。

        我的程序基本是根据 UVCCamera 去修改的，UVCCamera中没有取每一帧，但是留有接口，我这里设定每一帧的数据为NV格式。

        并且在onFrame中取出的data格式是NV（NV是YUV中的一个，YUV有很多格式），因此在转成bitmap的时候，需要根据公式去转化。用系统自带的RenderScript去转换，发现图片虽然清晰但是颜色不对。

        查找yuv转bitmap函数，找到的是这个。依旧是转出来的图片，非常明显，成像很清晰，但是就是颜色不对。

        因此对函数进行了修改。修改后如下所示。

        由于对YUV与RGB这个概念模糊不清，而搜索得到的YUV转bitmap函数是虽然的确是NV转bitmap，但转换后有色差。后修改rgba[]的赋值顺序后，颜色才正常。其实就是在由YUV编码转RGB编码的过程中，数据传递出现问题才导致色彩异常，这种情况就需要一步步分析YUV到RGB的数据转换中哪里出现了问题。之前是存储为ABGR，后面才是存储为ARGB。

        具体分析可以看这篇：

        RGB和YUV简单学习记录

        但是上面这种方式实际使用中发现效率过低。因此需要使用so的方式去转换。

        具体参考链接：

        libyuv—libyuv测试使用ARGBToI和ConvertToARGB接口

       _example_libyuv_Test_convertToArgb函数中的FOURCC_IYUV改为FOURCC_NV。

        Handle内存泄漏的问题。

        之前因为想偷懒所以没有处理Android studio关于Handle内存泄漏的提示。然后让程序跑了一天果然崩了。

        之前是如下所示，这种写法Android Studio会提示你这是有风险的。

        现在改成如下所示

        其实还可通过在activity的destroy中调用 handler.removeCallbacksAndMessages(null) ，来达到避免内存泄漏的目的,android 系统源码中也基本是使用这个方法。

        后记：这篇文章始于年，当时是用于双目USB摄像头上，最近在整理东西所以完善了一下。

        参考链接：

        Android yuv转换成bitmap

        图文详解YUV数据格式

        Android中的YUV格式解析

        Nv转Bitmap（高效率转化）

        Android 之 Bitmap

        Android解惑之Handler为什么需要是static的

espcam camera_web_server去掉功能选项

       要去掉ESPCAM Camera_Web_Server的功能选项，通常需要修改其源代码，特别是涉及Web界面和功能调用的部分。这可能包括修改HTML、JavaScript以及服务器端的处理代码。

       详细

       ESPCAM是一个集成了WiFi和摄像头的开发板，常用于实现各种网络摄像头应用。Camera_Web_Server是一个常见的示例项目，它通过ESPCAM创建一个网页服务器，允许用户通过浏览器查看摄像头的实时画面，并可能提供一些额外的功能选项，如拍照、录像等。

       要去掉这些功能选项，首先需要定位到实现这些功能的代码部分。这通常涉及到：

       1. Web界面：功能选项通常会在Web界面上以按钮或菜单的形式呈现。因此，需要找到生成这些界面的HTML和JavaScript代码，并删除或注释掉与不需要的功能相关的部分。

       2. 服务器端处理：当用户在Web界面上触发某个功能时，服务器需要相应地作出反应。因此，还需要找到处理这些请求的服务器端代码，并进行相应的修改。

       例如，如果Camera_Web_Server项目中有一个“拍照”按钮，你可能需要：

       * 在HTML文件中找到这个按钮的定义，并删除或注释掉它。

       * 在JavaScript文件中找到与该按钮相关的所有事件监听器和处理函数，并进行相同的操作。

       * 在服务器端代码中，找到处理拍照请求的部分，并进行修改或删除。

       此外，为了确保修改后的代码仍然能够正常工作，你可能还需要进行一些测试和调试。这可能包括检查修改后的Web界面是否显示正确，以及服务器是否能够正确处理剩余的功能请求。

       总的来说，去掉ESPCAM Camera_Web_Server的功能选项是一个相对复杂的过程，需要对项目的代码结构和实现方式有一定的了解。不过，通过仔细分析和逐步修改，你应该能够成功地实现你的目标。