1.FFmpeg源码分析: AVStream码流
2.FFmpeg视频播放器开发-FFmpeg简介与项目环境搭建(一)
3.FFmpeg源码分析：视频滤镜介绍(上)
4.FFmpeg视频播放器开发解封装解码流程、点播点播常用API和结构体简介（一）
5.极智开发 | ubuntu源码编译gpu版ffmpeg
6.零基础读懂视频播放器控制原理： ffplay 播放器源代码分析
FFmpeg源码分析: AVStream码流
在AVCodecContext结构体中，源码AVStream数组存储着所有视频、点播点播音频和字幕流的源码信息。每个码流包含时间基、点播点播时长、源码修改网页源码程序索引数组、点播点播编解码器参数、源码dts和元数据。点播点播索引数组用于保存帧数据包的源码offset、size、点播点播timestamp和flag，源码方便进行seek定位。点播点播
让我们通过ffprobe查看mp4文件的源码码流信息。该文件包含5个码流，点播点播是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。
调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。
我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、dedecms源码高亮profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。
AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。
时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。
FFmpeg视频播放器开发-FFmpeg简介与项目环境搭建(一)
前言：在众多视频开发库中，微软的DirectShow、开源库OpenCV、SDL以及大华和海康的专属库等都是不错的选择。然而，FFmpeg在音视频领域具有举足轻重的地位。众多软件如迅雷、腾讯视频、QQ、微信、QQ音乐、暴风影音、爱奇艺、优酷和格式工厂等都采用了FFmpeg技术。
QQ客户端
腾讯视频
爱奇艺客户端
FFmpeg的流媒体视音频编解码功能十分强大，几乎涵盖了所有的视音频编码标准。因此，只要涉及到视音频开发，几乎都离不开FFmpeg。
关于FFmpeg的群了源码博客和源码讲解有很多，其中雷神的博客最为知名。本系列教程在讲解过程中也会引用到其他人的研究成果，以便我们站在巨人的肩膀上。如有不当或错误之处，请各位朋友及时指出。
本教程是在Windows下的VS + Qt环境中开发。对于Linux或Mac操作系统，部分代码可以借鉴，但环境配置会有所不同。
一、配置Windows下FFmpeg开发环境
1.1 FFmpeg下载
官网链接：ffmpeg.zeranoe.com/buil...
可以下载最新版本或以前的版本，例如4.0版本。选择4.0版本后，依次下载Static、Share、Dev三个文件。位版本的三个文件如下：
Dev文件夹下包含include和lib文件
Shared文件的Bin目录包含ffmpeg的dll
1.2 在VS中配置FFmpeg
FFmpeg在VS中的配置很简单，只需按照常规SDK配置方式操作，开发时只需包含include、lib和bin目录中的文件。例如，创建一个C++控制台程序，右键点击项目名--属性。
（1）添加头文件目录
（2）添加lib目录
（3）在附加依赖项中填写lib名称
附上各个lib的名称，方便大家粘贴。
（4）将ffmpeg bin目录下的dll文件放入生成的exe所在目录，方便使用。关于/位版本的选择，请自行决定。
二、VS和Qt的安装
本教程以Qt作为界面库进行播放器开发。Qt相对于MFC来说，学习起来更简单，并且可以跨平台，适用于Linux和Mac程序的开发。我将Qt安装在VS中，因为VS调试方便，功能强大。
如果Qt和VS都安装好了，请继续阅读下一篇博客。如果Qt没有安装好，可以参考网上的商城源码程序安装方法。
三、软件界面与主要功能
本地视频播放
网络拉流
菜单项
播放器的基本功能都有，如双击放大全屏、视频进度拖拽、音量调整等。其他功能将逐步更新。
源码将在第五六篇博客中上传到github。
工欲善其事，必先利其器。环境配置完成后，下一篇文章将开始FFmpeg开发之旅。
首先，恭喜您能认真阅读到这里。如果对部分内容理解不太清楚，建议将文章收藏起来，查阅相关知识点后再进行阅读，这样您会有更深的认知。如果您喜欢这篇文章，请点赞或关注我吧！！
FFmpeg源码分析：视频滤镜介绍(上)
FFmpeg在libavfilter模块提供了丰富的音视频滤镜功能。本文主要介绍FFmpeg的视频滤镜，包括黑色检测、视频叠加、色彩均衡、去除水印、抗抖动、矩形标注、九宫格等。
黑色检测滤镜用于检测视频中的纯黑色间隔时间，输出日志和元数据。若检测到至少具有指定最小持续时间的黑色片段，则输出开始、结束时间戳与持续时间。该滤镜通过参数选项rs、gs、bs、rm、gm、bm、rh、gh、近乎社区源码bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。
视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。
色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。
去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。
矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。
绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。
调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。
将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。
FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）
在编撰FFmpeg播放器之前，深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。 FFmpeg是一个强大的库，它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时，播放过程大致包括以下几个关键步骤： 在构建播放器时，需要关注的首要环节是解码过程，本文将对解码流程、涉及的API和结构体进行详细阐述。 FFmpeg解码流程涉及以下几个关键步骤，包括使用av_register_all()初始化编码器，通过avformat_alloc_context()打开媒体文件并获取解封装上下文，使用avformat_find_stream_info()探测流信息，调用avcodec_find_decoder()查找解码器，然后用avcodec_open2()初始化解码器上下文，调用av_read_frame()读取视频压缩数据，通过avcodec_decode_video2()解码视频帧，最后使用avformat_close_input()关闭解封装上下文。 涉及的FFmpeg API包括：av_register_all()：初始化编码器
avformat_alloc_context()：初始化解封装上下文
avformat_find_stream_info()：探测流信息
avcodec_find_decoder()：查找解码器
avcodec_open2()：初始化解码器上下文
av_read_frame()：读取视频压缩数据
avcodec_decode_video2()：解码视频帧
avformat_close_input()：关闭解封装上下文
在FFmpeg中，关键结构体如下：AVFormatContext：解封装上下文，存储封装格式中包含的信息。
AVStream：存储音频/视频流信息的结构体。
AVCodecContext：描述编解码器上下文的结构体，包含了编解码器所需参数信息。
AVCodec：存储编码器信息的结构体。
AVCodecParameters：分离编码器参数的结构体，与AVCodecContext结构体协同工作。
AVPacket：存储压缩编码数据相关信息的结构体。
AVFrame：用于存储原始数据的结构体，如视频数据的YUV、RGB格式，音频数据的PCM格式，解码时存储相关数据，编码时也存储相关数据。
深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源，为深入学习提供了参考。极智开发 | ubuntu源码编译gpu版ffmpeg
欢迎访问极智视界公众号，获取更多深入的编程知识与实战经验分享。
本文将带你了解在 Ubuntu 系统中，如何进行源码编译，获得 GPU 加速版本的 FFmpeg 工具。
FFmpeg 是一款功能强大的音视频处理工具，支持多种格式的音视频文件，并提供了丰富的命令行工具和库，允许开发者在 C 语言或其他编程语言中进行音视频处理。
然而，FFmpeg 本身并不具备 GPU 加速功能。通过集成 CUDA SDK、OpenCL 或 Vulkan 等第三方库，能够实现 FFmpeg 的 GPU 加速，显著提升处理速度和性能。
在本文中，我们将重点介绍如何在 Ubuntu 系统中编译 GPU 加速版本的 FFmpeg。
首先，确保已安装 nv-codec-hearers，这是 NVIDIA 提供的 SDK，用于在 GPU 上加速 FFmpeg 的操作。
接下来，安装 FFmpeg 编码库和相关依赖，完成 FFmpeg 的编译配置。
最后，运行编译命令，检查 FFmpeg 是否成功安装并验证 GPU 加速功能。
至此，GPU 加速版本的 FFmpeg 已成功编译和安装，能够为你在音视频处理任务中带来显著性能提升。
通过极智视界公众号，获得更多有关人工智能、深度学习的前沿技术与实用知识，欢迎加入知识星球，获取丰富的资源与项目源码，共同探索 AI 领域的无限可能。
零基础读懂视频播放器控制原理： ffplay 播放器源代码分析
视频播放器的工作原理基于对音视频帧序列的控制。不同播放器可能在音视频同步上采用更复杂的帧预测技术，以提升音频与视频的同步性。ffplay，作为FFmpeg自带的播放器，使用了FFmpeg解码库与用于视频渲染显示的SDL库。本文将详细分析ffplay源码，旨在用基础且系统的方法，解读音视频同步、播放/暂停、快进/后退等控制原理。
相较于在移动端查看音视频代码，使用PC端通过VS进行查看和调试，能更高效迅速地分析播放器原理。由于ffplay在命令行界面的使用体验不够直观，本文将分析在CSDN上移植到VC的ffplay代码（ffplay for MFC）。
文章将按照以下结构展开：
一、解析MP4文件结构，理解视频文件的构成与参数。
二、从最简单的播放器入手，分析FFmpeg解码与SDL显示流程。
三、提出并解答五个关键问题，涉及音视频组合、同步、时间与帧数控制等。
四、深入ffplay代码，从总体流程图入手，理解其代码结构。
五、详细分析视频播放器的操作控制机制，包括关键结构体VideoState的作用，PTS和DTS的原理与应用，以及如何实现音视频同步。
六、总结反思，强调基础概念、流程图与PC端调试的重要性。
通过本文，我们将深入解析ffplay播放器的音视频播放与控制原理，旨在提供更直观、基础的解读方式，帮助读者理解和掌握视频播放器的核心技术。
FFMPEG详解(完整版）
FFMPEG详解
FFMPEG是自由软件中最完备的多媒体支持库，几乎涵盖了所有常见数据封装格式、多媒体传输协议以及音视频编解码器。对于多媒体技术开发工程师来说，深入研究FFMPEG是必不可少的。它的重要性如同kernel之于嵌入式系统工程师。FFMPEG的大部分代码遵循LGPL许可证，少部分遵循GPL许可证，因此其被广泛应用于各种第三方播放器和商业软件中，但需要注意在商业应用中可能涉及专利风险。
FFMPEG功能分为多个模块，如核心工具、媒体格式、编解码、设备和后处理模块，分别提供公用功能函数、实现多媒体文件读写、音视频编解码、设备操作以及音视频后处理。
FFMPEG提供命令行工具ffmpeg，其使用方法包含三部分：全局参数、输入文件参数、输出文件参数，每组输入参数以‘-i’结束，每组输出参数以文件名结束。
在使用FFMPEG时，需要熟悉基本选项、流标识、音频选项、视频选项等，同时，FFMPEG支持多种滤镜和高级选项，实现特定用例。
编译FFMPEG时，通过configure脚本实现定制和裁剪，以适应不同系统和需求。configure脚本生成的config.mak和config.h文件在Makefile和源代码层次上控制编译过程。
深入FFMPEG示例程序包括解码功能，实现复杂多媒体播放器的基础解复用、解码、数据分析过程。用户接口涉及数据结构、编解码器、媒体流和容器等概念，通过FFMPEG提供的AVFormatContext、AVStream、AVCodecContext等结构进行抽象。
时间信息在FFMPEG中用于实现多媒体同步，包括流内和流间同步。FFMPEG通过AVPacket结构为每个数据包打上时间标签，支持上层应用的同步机制。时间信息的获取和操作对于多媒体应用至关重要。
FFMPEG的API分为读系列、编解码系列和写系列，实现媒体数据的获取、编码、解码和输出。关键函数包括avformat_open_input、avformat_find_stream_info、av_read_frame等，用于文件输入、流信息查找和数据读取。
FFMPEG支持过滤链，通过AVFilter、AVFilterPad和AVFilterLink实现视频帧和音频采样数据的后续处理，如图像缩放、增强和声音重采样。
综上所述，FFMPEG是多媒体开发工程师不可或缺的工具，其功能强大且适用范围广泛，深入理解FFMPEG对于开发高性能多媒体应用至关重要。
