1.FFmpeg源码分析: AVStream码流
2.ffmpeg实现媒体流解码
3.HEVC开源编解码器HM编译及使用方法
4.音视频开发项目：H.265播放器：视频解码篇
5.xvid是视频什么视频格式
6.FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、器源音频和字幕流的码视码器信息。每个码流包含时间基、频解时长、源码docker源码语言索引数组、视频编解码器参数、解码dts和元数据。器源索引数组用于保存帧数据包的码视码器offset、size、频解timestamp和flag，源码方便进行seek定位。视频

       让我们通过ffprobe查看mp4文件的解码码流信息。该文件包含5个码流，器源是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、git 加密源码bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。GM APP源码要将时间戳转换为真实时间，只需将num分子除以den分母。

ffmpeg实现媒体流解码

       ffmpeg实现媒体流解码的详细步骤

       本文将深入探讨如何利用ffmpeg将MP4媒体流的视频转化为yuv格式，音频转换为pcm数据。首先，理解解复用和复用的概念至关重要：

       解复用：MP4等多媒体文件包含视频（如H或H）和音频（AAC或MP3）等多种流。ffmpeg的任务是分离这些独立的流。

       复用：则是将这些分离的流重新打包成如MP4或FLV等常见的媒体格式。

       具体解码流程分为四步：

       初始化：使用avformat_open_input打开输入文件，avformat_find_stream_info获取流信息，再通过av_find_best_stream找到视频和音频流的索引。

       视频解码：利用avcodec_find_decoder获取视频解码器，avcodec_find_context3打开解码器，avcodec_parameters_to_cotext设置解码参数，最后通过avcodec_open2启动解码器。

       音频解码：同样的方法，通过avcodec_find_decoder和avcodec_open2找到并启动音频解码器。

       解码过程：这部分涉及ffmpeg的解码核心，根据音频和视频流的特性，进行实际的解码操作。

       输出存储：音频和视频数据的存储需要特定技巧，包括选择合适的格式（如YUV或YUV）以及存储方法。

       完整源码已在文章ffmpeg实现音视频解码中提供，供读者参考和实践。

HEVC开源编解码器HM编译及使用方法

       HM (HEVC Test Model)是一个开源软件，用于帮助我们理解HEVC编码标准。它包括编码器TAppEncoder和解码器TAppDecoder，能实现HEVC标准中的所有功能，但性能不如商用编码器。该项目由JVET维护。本文记录了笔者在Ubuntu下根据HM项目的抢座位 源码README，编译并运行一个小demo的过程。

       JVET并未将HM托管到GitHub，而是将其托管在gitlab仓库vcgit.hhi.fraunhofer.de...中。我们可以在该页面找到仓库的git URL，然后在Ubuntu中使用git clone命令克隆源代码：

       进入代码目录后，创建名为build的文件夹，并进入该文件夹：

       在build目录下运行以下指令：

       注意，执行上述指令前需要预先安装cmake工具。

       执行cmake后，在当前目录下应该会看到一个Makefile，然后我们可以使用make进行编译：

       编译过程可能较长：

       编译过程中，如果没有错误，几分钟内即可完成。如果读者在编译过程中遇到依赖问题，可以自行搜索并安装，HM的编译过程相对顺利，没有太多难点。

       当make的进度达到%时，说明编译完成。最后几行输出表明编译出的可执行文件位于相应位置，可以在“HM/bin/umake/gcc-9.4/x_/release”目录下找到“MCTSExtractor”“parcat”“SEIRemovalApp”“TAppDecoder”“TAppDecoderAnalyser”“TAppEncoder”等可执行文件。

       接下来，我们使用TAppEncoder进行测试，将一个未压缩的yuv序列编码成HEVC视频序列。我们使用的是Derf's Test Media Collection数据集中的akiyo视频序列。下载akiyo_cif.y4m文件后，将其与TAppEncoder可执行文件放在同一文件夹中。

       在HM项目的doc目录下，有一个名为software-manual.pdf的说明文档，详细介绍了HM软件的使用方法。通过阅读该文档，60站源码我们可以了解TAppEncoder通过-c参数指定配置文件，并在项目的cfg目录下找到示例配置文件。我们将其中一个配置文件拷贝到工作目录下，并执行代码。如果出现错误，可能是因为配置文件中没有指定帧率和编码总帧数。这是一个HM项目的小坑，需要仔细调试。

       修改配置文件后，再次执行指令，即可正常编码。编码完成后，可以在当前目录下找到输出文件akiyo_hevc.bin，使用PotPlayer播放，显示输入格式为HEVC。但可能存在一些播放异常，需要进一步检查。

       我们可以使用开源软件GitlHEVCAnalyzer对akiyo_hevc.bin进行分析，该软件可以显示视频中的CU、PU等单元以及分块信息。

       --更新：使用HM的TAppEncoder对akiyo_cif.y4m进行编码时，编码后的视频画面会发生色彩异常和抖动异常。目前，已找到原因并成功解决。在解决此问题之前，我们需要了解y4m文件格式。Y4M是一种保存原始YUV序列的文件封装格式，包含视频属性信息。而HM的TAppEncoder编码器需要接收仅由视频帧组成的像素矩阵数据。因此，直接将akiyo_cif.y4m文件输入到HM编码器中可能导致帧不对齐，造成抖动。解决方法是提取视频每一帧像素矩阵，丢弃视频属性信息，并将它们写入新文件。使用ffmpeg进行视频内容提取后，将得到的akiyo_yuv.yuv文件输入到TAppEncoder中，以相同方式进行编码，即可正常播放视频。

音视频开发项目：H.播放器：视频解码篇

       探索音视频开发的前沿技术，让我们深入剖析一款H.播放器的视频解码优化过程。在这款高性能播放器中，新版以惊人的效率展示了其解码能力，1分钟内处理p/fps的H. MP4视频，内存占用仅为4.6GB，而CPU占用率在极限条件下也保持在+。单帧解码p的速度已经优化到了惊人的毫秒，相较于旧版p的毫秒，无疑展示了技术的飞跃。

       播放器的架构设计巧妙，由Loader、Demuxer、Renderer（核心模块）和UI View等模块构成，各部分独立却又协同工作。让我们走进DEMO架构示例：Loader负责从Annex-B码流中读取数据，WASM技术则高效地解码YUV数据，而FFmpeg经过精简编译后，被转化为轻量级的WASM包，实现资源优化。

       要实现这一优化，首先从FFmpeg官网获取emsdk和源码版本（4.1），然后通过定制的make_decoder.sh脚本，去除不必要的模块，如swresample和postproc，专注于关键的hevc-decoder模块。这个过程包括禁用非必要的FFmpeg功能，生成简化库和.h文件，为后续的WASM编译做准备。

       接下来，编写自定义的C语言入口文件（如decoder.c），运用C语言基础，创建一个初始化解码器的接口，如init_decoder，它接受一个JS回调函数，传递解码数据的地址、长度，以及可选的时间戳（pts）。附赠的学习资料包，包含FFmpeg、webRTC等技术，可通过企鹅裙获取，助你快速上手。

       解码的核心在于处理AVPacket和AVFrame，视频中每个压缩帧需要通过demuxers和decoders逐一解析。decode_buffer函数负责数据解析和解码，将解码后的AVPacket传递给解码器，可能需要多次循环以接收完整的AVFrame。而在3.x和4.x版本中，avcodec_send_packet和avcodec_decode_video2/avcodec_decode_audio4的调用方法有所不同。

       解码后的YUV数据通常以紧缩格式（如YUVp）和平面格式存储，需要转换后供JS使用。在这个过程中，采样率决定了数据处理的复杂度，例如4个Y分量对应1个U和V分量。将解码后的AVFrame复制到yuv_buffer，然后通过decoder_callback传递给JavaScript。

       通过Emscripten构建WASM包，我们编写build_decoder.sh脚本，设置出口函数和内存配置，最终生成wasm/libffmpeg.js。在JS和Worker中，我们加载并调用WASM函数，构建Decoder类，扩展EventEmitter，处理数据的异步加载和解码。在主线程中，通过webpack和worker-loader，数据从主线程传输到Worker，解码器负责解码并返回处理后的数据。

       H.视频解码的挑战在于高效处理AVPacket和AVFrame，音频解码则可能需要复用解码链路或者利用浏览器内置的解码器。音频播放则依赖于AudioContext，确保主流音频编码格式在浏览器中的兼容性。通过这个案例，我们了解了如何避免常见问题，以及FFmpeg在视频处理中的强大能力。H.播放器的应用场景广泛，为创新提供无限可能。

xvid是什么视频格式

       XviD是一个开放源代码的MPEG-4视频编解码器，它基于OpenDivX编写，并继承了OpenDivX的许多优点。作为视频编码格式，XviD支持多种编码模式、量化方式和范围控制，以及运动侦测和曲线平衡分配等编码技术，这使得它在视频压缩效率和画质上表现出色。

       XviD的画质质量相对较高，同时其压缩速度虽然较慢，但能够在保持画质的基础上显著减小视频文件的体积，非常适合网络传播和存储。此外，XviD还是世界上最常用的视频编码解码器之一，具有广泛的兼容性和应用前景。

       总的来说，XviD是一种高效、高质量的视频编码格式，适用于多种视频处理和播放场景。

FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

       在编撰FFmpeg播放器之前，深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。

       FFmpeg是一个强大的库，它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时，播放过程大致包括以下几个关键步骤：

       在构建播放器时，需要关注的首要环节是解码过程，本文将对解码流程、涉及的API和结构体进行详细阐述。

       FFmpeg解码流程涉及以下几个关键步骤，包括使用av_register_all()初始化编码器，通过avformat_alloc_context()打开媒体文件并获取解封装上下文，使用avformat_find_stream_info()探测流信息，调用avcodec_find_decoder()查找解码器，然后用avcodec_open2()初始化解码器上下文，调用av_read_frame()读取视频压缩数据，通过avcodec_decode_video2()解码视频帧，最后使用avformat_close_input()关闭解封装上下文。

       涉及的FFmpeg API包括：

       av_register_all()：初始化编码器

       avformat_alloc_context()：初始化解封装上下文

       avformat_find_stream_info()：探测流信息

       avcodec_find_decoder()：查找解码器

       avcodec_open2()：初始化解码器上下文

       av_read_frame()：读取视频压缩数据

       avcodec_decode_video2()：解码视频帧

       avformat_close_input()：关闭解封装上下文

       在FFmpeg中，关键结构体如下：

       AVFormatContext：解封装上下文，存储封装格式中包含的信息。

       AVStream：存储音频/视频流信息的结构体。

       AVCodecContext：描述编解码器上下文的结构体，包含了编解码器所需参数信息。

       AVCodec：存储编码器信息的结构体。

       AVCodecParameters：分离编码器参数的结构体，与AVCodecContext结构体协同工作。

       AVPacket：存储压缩编码数据相关信息的结构体。

       AVFrame：用于存储原始数据的结构体，如视频数据的YUV、RGB格式，音频数据的PCM格式，解码时存储相关数据，编码时也存储相关数据。

       深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源，为深入学习提供了参考。