1.FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx
2.极智开发 | ubuntu源码编译gpu版ffmpeg
3.FFmpeg源码分析: AVStream码流
4.图像格式--FFMPEG代码走读-TIFF格式编码
5.FFmpeg开发笔记（三十四）Linux环境给FFmpeg集成libsrt和librist
6.FFmpeg交叉编译、工具工具脚本参数配置

FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx

       本文将指导读者在Windows环境下，源码源码如何为FFmpeg集成libopus和libvpx，工具工具进而支持Opus音频编码与VP8/VP9视频编码。源码源码首先，工具工具介绍libopus的源码源码vshost是源码么集成步骤。libopus是工具工具用于语音交互和音频传输的编码标准，其编解码器为libopus。源码源码下载最新版libopus源码，工具工具解压后执行配置命令./configure --prefix=/usr/local/libopus。源码源码接着，工具工具编译并安装libopus，源码源码确保环境变量PKG_CONFIG_PATH已包含libopus的工具工具pkgconfig路径。

       随后，源码源码转向libvpx的工具工具集成。libvpx是VP8和VP9视频编码标准的编解码器。下载最新libvpx源码，解压并配置./configure --prefix=/usr/local/libvpx --enable-pic --disable-examples --disable-unit-tests，确保使用了--enable-pic选项以避免在编译FFmpeg时的错误。编译、安装libvpx后，同样更新PKG_CONFIG_PATH环境变量。

       为了在FFmpeg中启用libopus和libvpx，需要重新编译FFmpeg。确保所有相关库的pkgconfig路径已加载至环境变量PKG_CONFIG_PATH中。通过命令./configure --prefix=/usr/local/ffmpeg --arch=x_ --enable-shared --disable-static --disable-doc --enable-libx --enable-libx --enable-libxavs2 --enable-libdavs2 --enable-libmp3lame --enable-gpl --enable-nonfree --enable-libfreetype --enable-sdl2 --enable-libvorbis --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-version3 --enable-libopus --enable-libvpx --enable-iconv --enable-zlib --extra-cflags='-I/usr/local/lame/include -I/usr/local/libogg/include -I/usr/local/amr/include' --extra-ldflags='-L/usr/local/lame/lib -L/usr/local/libogg/lib -L/usr/local/amr/lib' --cross-prefix=x_-w-mingw- --target-os=mingw重新配置FFmpeg，启用libopus与libvpx功能。接着，执行编译与安装命令，完成FFmpeg的集成。

       最后，通过命令ffmpeg -version检查FFmpeg版本信息，确认是否成功启用libopus与libvpx。至此，FFmpeg已成功在Windows环境下集成了libopus和libvpx，支持Opus音频编码与VP8/VP9视频编码。此过程为视频处理应用提供了更丰富编码格式支持，提高了FFmpeg的多功能性与适应性。

极智开发 | ubuntu源码编译gpu版ffmpeg

       欢迎访问极智视界公众号，dede带支付源码获取更多深入的编程知识与实战经验分享。

       本文将带你了解在 Ubuntu 系统中，如何进行源码编译，获得 GPU 加速版本的 FFmpeg 工具。

       FFmpeg 是一款功能强大的音视频处理工具，支持多种格式的音视频文件，并提供了丰富的命令行工具和库，允许开发者在 C 语言或其他编程语言中进行音视频处理。

       然而，FFmpeg 本身并不具备 GPU 加速功能。通过集成 CUDA SDK、OpenCL 或 Vulkan 等第三方库，能够实现 FFmpeg 的 GPU 加速，显著提升处理速度和性能。

       在本文中，我们将重点介绍如何在 Ubuntu 系统中编译 GPU 加速版本的 FFmpeg。

       首先，确保已安装 nv-codec-hearers，这是 NVIDIA 提供的 SDK，用于在 GPU 上加速 FFmpeg 的操作。

       接下来，安装 FFmpeg 编码库和相关依赖，完成 FFmpeg 的编译配置。

       最后，运行编译命令，检查 FFmpeg 是否成功安装并验证 GPU 加速功能。

       至此，GPU 加速版本的 FFmpeg 已成功编译和安装，能够为你在音视频处理任务中带来显著性能提升。

       通过极智视界公众号，获得更多有关人工智能、深度学习的前沿技术与实用知识，欢迎加入知识星球，获取丰富的资源与项目源码，共同探索 AI 领域的无限可能。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的api对接教程源码信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、mtk移植包源码bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

图像格式--FFMPEG代码走读-TIFF格式编码

       本文从FFMPEG源码角度解读TIFF编码内容，无需过多介绍，直接开启解读。TIFF编码涉及到的结构体TiffEncoderContext，用于存储与TIFF编码相关的上下文信息，包括编码上下文信息、长宽信息、压缩信息、yuv数据信息、缓冲区信息、Strip信息，以及编解码算法和级别信息等。

       TIFF文件使用标签（Tags）存储图像的元数据和其他信息，每个标签存储特定类型的信息，如图像宽度、智能服装版型源码高度、颜色深度等。在FFMPEG中包含的所有tag相关数据可参照下图查看。

       此外，还存在特定的补充标签，如DNG和CinemaDNG格式。DNG是由Adobe开发的一种开放的RAW图像格式，基于TIFF/EP标准，在TIFF基础上增加了存储更多摄影信息和元数据的特定标签。CinemaDNG是一个基于DNG的开放标准，专为**和视频制作中的RAW图像序列设计，包含与静态图像DNG类似的标签，同时增加了一些特定于视频和**制作的标签，用于管理处理高动态范围的RAW视频数据。

       TIFF编码代码位于libavcodec\tiffenc.c文件中。ff_tiff_encoder描述了一个TIFF图像编码器，采用标准FFmpeg库的API封装，包含TIFF编码器的各种信息和函数指针，便于对接到FFMPEG框架。

       encode_init函数用于初始化TIFF编码器上下文，并进行必要的检查和设置。encode_close函数在编码器关闭时进行资源清理，确保无内存泄漏。add_entry将一个条目添加到TIFF文件目录中。encode_strip用于将图像数据编码为TIFF文件的一个条带。pack_yuv将YUV图像数据打包成适合TIFF格式的条带。

       encode_frame函数主要作用是将一帧图像编码为TIFF格式。具体步骤包括初始化上下文和变量、设置编码器上下文参数、处理不同像素格式、计算每行字节数和数据包大小、分配内存、处理图像数据、写入TIFF文件头、添加TIFF标签、写入目录偏移量并完成编码。

       至此，TIFF编码过程解析完毕。源码编译与调试有助于深入理解，增进对TIFF编码的认识。

FFmpeg开发笔记（三十四）Linux环境给FFmpeg集成libsrt和librist

       本文介绍如何在Linux环境下集成FFmpeg以支持SRT和RIST协议。SRT全称为Secure Reliable Transport（安全可靠传输协议），RIST全称为Reliable Internet Stream Transport（可靠的互联网流传输协议）。这两种协议在年发布，其中SRT被腾讯视频云采纳并用于提高推流稳定性。

       首先，需要安装支持SRT协议的libsrt库。libsrt的最新版本为年8月发布的libsrt-1.5.3，下载地址为github.com/Haivision/sr...。安装步骤如下：

       上传压缩包至服务器并解压。

       进入解压后的srt目录，执行配置命令。

       编译libsrt。

       安装libsrt。

       接下来，安装支持RIST协议的librist库。librist的最新版本为年月发布的librist-v0.2.，下载地址为code.videolan.org/rist/...。安装步骤包括：

       安装编译工具meson和ninja。

       上传压缩包并解压。

       进入解压后的build目录，配置librist。

       编译librist。

       安装librist。

       集成SRT和RIST协议至FFmpeg需要重新配置FFmpeg，通过添加选项“--enable-libsrt --enable-librist”来启用这两个库。编译过程如下：

       回到FFmpeg源码目录，重新配置FFmpeg。

       编译FFmpeg。

       安装FFmpeg。

       完成集成后，通过运行命令“ffmpeg -version”查看FFmpeg版本信息，确认是否正确启用了SRT协议的支持库libsrt和RIST协议的支持库librist。

       以上步骤详细介绍了在Linux环境下给FFmpeg集成SRT和RIST协议的支持库，旨在提升流媒体应用的传输性能和稳定性。

FFmpeg交叉编译、脚本参数配置

       一：下载并解压ffmpeg源码

       使用git或wget下载ffmpeg源码到/root/ff目录，安装git或wget后执行命令解压。

       检查解压后的文件。

       使用tar命令解压ffmpeg-3.4.tar.bz2文件。

       使用unzip命令解压NDK压缩包。

       查看目录结构。

       安装make工具，用于自动化编译工作，提高效率。

       二：配置编译脚本

       定义环境变量，包括NDK目录、架构下的so库和头文件、交叉编译工具、CPU类型和输出路径。

       使用env命令查看环境变量。

       解决NDK版本r后gcc兼容问题，通过修改cc路径使用clang。

       执行make命令进行编译，使用-j参数指定并行任务数，编译完成后执行make install安装。

       在指定路径下生成输出文件。

       三：创建Shell脚本

       创建并编辑android.sh文件，实现自动化交叉编译流程。

       调整脚本参数实现动态配置。

       重新执行脚本，生成编译结果。

FFmpeg源码分析：视频滤镜介绍(上)

       FFmpeg在libavfilter模块提供了丰富的音视频滤镜功能。本文主要介绍FFmpeg的视频滤镜，包括黑色检测、视频叠加、色彩均衡、去除水印、抗抖动、矩形标注、九宫格等。

       黑色检测滤镜用于检测视频中的纯黑色间隔时间，输出日志和元数据。若检测到至少具有指定最小持续时间的黑色片段，则输出开始、结束时间戳与持续时间。该滤镜通过参数选项rs、gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。

       视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。

       色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。

       去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。

       矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。

       绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。

       调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。

       将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。

FFmpeg之ffprobe ffmpeg提供的三大工具之一

       ffprobe是ffmpeg工具之一，专门用于解析音视频文件，获取封装格式、音频/视频流信息、数据包信息和帧信息等。其源码位于ffprobe.c，开发时可通过分析源码获取所需字段信息。

       查看文件的封装格式，可输出包含格式类型、文件大小、编码器等信息。了解流信息时，将展示音频/视频编码、比特率、帧率等。

       封装格式、流信息之间存在关联，如PAR（像素宽比）、SAR（样本宽比）与DAR（显示宽比）之间的等式关系：PAR * SAR = DAR。以一个5:4像素宽比为例，若显示宽为，高为，则计算得出SAR为:，表示像素方格呈长方形。

       ffmpeg提供了多种SAR，用于精确解析数据包信息。查看音视频文件的数据包时，将对比第一、第二个包的大小、时间戳、类型等数据。

       对于解码后的帧，同样会提供详细信息，包括视频流的第一、二帧与音频流的第一、二帧的帧率、尺寸、类型等。

       总之，ffprobe作为ffmpeg的重要组成部分，帮助开发者深入理解音视频文件结构，提供全面的解析信息，助力音视频开发与优化。