1.搭建一个摄像头应用程序 应用程序内部摄像头
2.UE4：Niagara扩展CameraQuery支持CPU获取ViewSize
3.UVC Camera使用简单记录

搭建一个摄像头应用程序 应用程序内部摄像头

       在许多应用程序中，源码集成一个应用程序内部的源码摄像头功能是可能的。Flutter 提供了一个名为 camera 的源码 pub.dev/packages/camera 插件，它允许我们在项目中实现这一需求。源码首先，源码在 pubspec.yaml 文件中添加 camera 插件以安装到项目中。源码html页面源码提取确保设备支持 iOS .0 或更高版本，源码并在 Info.plist 文件中设置相应的源码参数。对于 Android，源码将 app/build.gradle 文件中 Android SDK 的源码最小版本更新为 或更高。

       接下来，源码创建两个屏幕：CameraScreen 和 GalleryScreen。源码CameraScreen 将显示相机输出并允许用户拍摄，源码而 GalleryScreen 则用于在网格视图中显示捕获的源码。

       在 main.dart 文件中，源码通过加载相机预览并将其传递给 CameraScreen。使用 camera 插件提供的方法初始化选定的相机，如后置摄像头。然后在 CameraScreen 中创建实时相机预览，并添加三个按钮以支持切换相机、拍摄照片和查看画廊功能。tooltip源码

       为了实现摄像头在前后之间的切换，可使用相同的初始化方法并动态更改 cameraIndex。点击捕获按钮时，使用相机控制器拍摄照片，并将添加到数组中。点击显示画廊按钮，导航至 GalleryScreen 并显示已捕获的。

       在 GalleryScreen 中，获取捕获的图像列表并在 GridView 中显示。通过这些屏幕和功能，credentialsmatcher源码您已经具备了一个基本的内部摄像头应用程序。

       使用 camera 插件，您还能捕捉视频。通过 startVideoRecording、pauseVideoRecording 和 stopVideoRecording 方法，可以实现视频录制功能。完成项目构建后，即可看到最终效果。

       该项目的源代码已发布在 GitHub，供您参考和学习。bitcount 源码

       github.com/jagrut-/fl...

UE4：Niagara扩展CameraQuery支持CPU获取ViewSize

       在使用UE4中的Niagara系统进行粒子系统开发时，遇到过一个需求：需要在CPU粒子系统中获取ViewSize参数，而该参数在CameraQuery组件中仅提供了一个支持GPU的方法。为了解决这个问题，我们探究了如何在Niagara系统中实现CPU获取ViewSize的方法。

       首先，创建一个NiagaraScript并添加CameraQuery节点，目的是获取ViewSize参数。在MapGet节点中拉出一个Get方法，可以看到该方法支持CPU还是teambition源码GPU。然而，由于添加了一个不支持的方法，编译时会报错。因此，我们需要实现一个在CPU粒子系统中获取ViewSize的解决方案。

       通过查看CameraQuery的源码，发现GetViewPropertiesGPU函数在注释中被标记为CPU模拟实现，实际并未获取任何数据。进一步研究其他CPU函数的实现，我们了解到数据实际上是从Context的FCameraDataInterface_InstanceData中获取的。通过VectorVM::FExternalFuncRegisterHandler的方式，将获取到的值传递到输出pin，完成了数据从实例数据到输出的传递。

       接着，关注到UNiagaraDataInterfaceCamera::GetCameraProperties函数中的完整流程，它更详细地展示了如何添加输出、获取值和赋值的操作。通过分析FCameraDataInterface_InstanceData的初始化和PerInstanceTick函数，我们了解到摄像机参数是通过从World和PlayerController获取的，而这些操作在Tick函数中进行。确认了摄像机参数的获取过程合理，并支持编辑器模式下的正常获取。

       在GetFunctions函数中，添加输出和方法的定义时，需要注意函数名、支持CPU/GPU的标志以及是否为成员函数等细节。在GetFunctionHLSL中，只关注CPU方法的实现，通过函数的DefinitionName获取HLSL代码。

       为了在CameraQuery中增加获取ViewSize的方法，我们需要在FCameraDataInterface_InstanceData结构体中增加相应的参数，并在PerInstanceTick函数中进行赋值。同时，修改GetFunctions和GetFunctionHLSL以支持CPU粒子系统。最后，通过绑定GetVMExternalFunction完成方法的实现。

       实现后，可以通过任意的Material进行调试，并在编辑器中查看结果，验证方法的正确性。这样，我们不仅解决了获取ViewSize的需求，还为Niagara系统的CPU粒子系统增加了更多灵活性。

UVC Camera使用简单记录

       ç¨‹åºæ˜¯æ ¹æ® UVCCamera 去修改的。

        使用过程中遇到的几点关键问题：

        1.YUV 格式：NV等格式。

        2.YUV转RGB效率问题。

        3.Bitmap内存泄漏问题。

        4.Handler内存泄漏的问题

        首先onFrame(这是camera取图的callBack函数，byte[] data就是camera的数据)中不能做耗时操作（例如将data转bitmap等操作），不然会阻塞（之前把这个操作放到这里然后直接将bitmap传出）导致卡顿。

        在传输byte[]数据之后，需要将byte[]转bitmap。

        在byte[] 转bitmap的过程中，由于创建了过多的Bitmap，会导致内存泄漏，程序崩溃。

        因此1.将Bitmap设置为静态变量，避免重复创建的问题。2.修改byte[] 转bitmap的函数，原来函数是返回Bitmap，现在是将Bitmap作为参数传入函数中，直接将Bitmap数据传递出去。减少了一个返回的步骤。

        之前是这样的：

        现在是这样的：

        后面就是通过handleImage将Bitmap显示在ImageView上。

        NV转bitmap的问题。

        我的程序基本是根据 UVCCamera 去修改的，UVCCamera中没有取每一帧，但是留有接口，我这里设定每一帧的数据为NV格式。

        并且在onFrame中取出的data格式是NV（NV是YUV中的一个，YUV有很多格式），因此在转成bitmap的时候，需要根据公式去转化。用系统自带的RenderScript去转换，发现图片虽然清晰但是颜色不对。

        查找yuv转bitmap函数，找到的是这个。依旧是转出来的图片，非常明显，成像很清晰，但是就是颜色不对。

        因此对函数进行了修改。修改后如下所示。

        由于对YUV与RGB这个概念模糊不清，而搜索得到的YUV转bitmap函数是虽然的确是NV转bitmap，但转换后有色差。后修改rgba[]的赋值顺序后，颜色才正常。其实就是在由YUV编码转RGB编码的过程中，数据传递出现问题才导致色彩异常，这种情况就需要一步步分析YUV到RGB的数据转换中哪里出现了问题。之前是存储为ABGR，后面才是存储为ARGB。

        具体分析可以看这篇：

        RGB和YUV简单学习记录

        但是上面这种方式实际使用中发现效率过低。因此需要使用so的方式去转换。

        具体参考链接：

        libyuv—libyuv测试使用ARGBToI和ConvertToARGB接口

       _example_libyuv_Test_convertToArgb函数中的FOURCC_IYUV改为FOURCC_NV。

        Handle内存泄漏的问题。

        之前因为想偷懒所以没有处理Android studio关于Handle内存泄漏的提示。然后让程序跑了一天果然崩了。

        之前是如下所示，这种写法Android Studio会提示你这是有风险的。

        现在改成如下所示

        其实还可通过在activity的destroy中调用 handler.removeCallbacksAndMessages(null) ，来达到避免内存泄漏的目的,android 系统源码中也基本是使用这个方法。

        后记：这篇文章始于年，当时是用于双目USB摄像头上，最近在整理东西所以完善了一下。

        参考链接：

        Android yuv转换成bitmap

        图文详解YUV数据格式

        Android中的YUV格式解析

        Nv转Bitmap（高效率转化）

        Android 之 Bitmap

        Android解惑之Handler为什么需要是static的