1.FFmpeg编解码处理-转码全流程简介
2.HEVC开源编解码器HM编译及使用方法

FFmpeg编解码处理-转码全流程简介

       本文基于 FFmpeg 4.1 版本，解码对转码全流程进行简要介绍。成源转码过程主要分为输入、码源码解码输出、解码转码、成源播放四大环节，码源码解码flash酒店整站源码其中转码功能占据较大比重。解码转码的成源核心在于解码和编码两部分，尽管在实际示例程序中，码源码解码编码、解码解码与输入、成源输出难以完全分割。码源码解码具体流程如下：

       1. **解复用**：从输入文件中读取编码帧，解码判断流类型，成源并将编码帧送入对应的码源码解码解码器（视频或音频）。

       2. **解码**：将编码帧解码，context设计源码生成原始帧。

       3. **滤镜**：FFmpeg 提供多种滤镜，用于处理原始帧数据。本例中使用空滤镜，以确保视频流输出的像素格式转换为编码器支持的格式，音频流输出的声道布局同样转换为编码器支持的布局。这一步为编码操作做好准备。

       4. **编码**：原始视音频帧通过编码器转换为编码帧。

       5. **复用**：编码帧按不同流类型交织写入输出文件。

       **转码例程简介**：

       转码功能复杂，示例程序难以简化。本例程支持指定视音频编码格式与输出文件封装格式。若指定格式为 "copy"，输出流将采用与输入流相同的编码格式。与 FFmpeg 命令不同，ook算法源码此例程在 "copy" 时，会进行编码与解码操作，耗时较长。验证方法与命令行操作类似，源代码文件主要包括在 main. c 中的 transcode_video()、transcode_audio() 和 transcode_audio_with_afifo() 函数，这些函数展示了音视频转码的实现方法。

       **视频与音频转码流程**：

       - **视频转码**：主要在 transcode_video() 函数中实现，处理流程包含解复用、解码、滤镜处理和编码等步骤。

       - **音频转码**：在 transcode_audio() 函数中实现，同样涉及解复用、解码、滤镜处理和编码。分享公式源码

       **时间戳处理**：

       在封装格式处理中，时间基的理解不是必需的，但在编解码过程中，正确的时间基转换至关重要。容器的时间基与编解码器上下文的时间基不同，解码编码过程中需要进行转换。对于视频，原始帧时间基为 1/framerate，编码前需将容器时间基转换为 1/framerate，编码后转换回输出容器的时间基。对于音频，原始帧时间为 1/sample_rate，同样需要进行相应的时间基转换，若使用音频 FIFO，需使用 1/sample_rate 时间基重新生成时间戳信息。源码编译技巧

       **编译与验证**：

       下载示例代码，执行 make 命令生成可执行文件。使用测试文件进行验证，观察文件格式，并指定编码格式与封装格式生成输出文件。

HEVC开源编解码器HM编译及使用方法

       HM (HEVC Test Model)是一个开源软件，用于帮助我们理解HEVC编码标准。它包括编码器TAppEncoder和解码器TAppDecoder，能实现HEVC标准中的所有功能，但性能不如商用编码器。该项目由JVET维护。本文记录了笔者在Ubuntu下根据HM项目的README，编译并运行一个小demo的过程。

       JVET并未将HM托管到GitHub，而是将其托管在gitlab仓库vcgit.hhi.fraunhofer.de...中。我们可以在该页面找到仓库的git URL，然后在Ubuntu中使用git clone命令克隆源代码：

       进入代码目录后，创建名为build的文件夹，并进入该文件夹：

       在build目录下运行以下指令：

       注意，执行上述指令前需要预先安装cmake工具。

       执行cmake后，在当前目录下应该会看到一个Makefile，然后我们可以使用make进行编译：

       编译过程可能较长：

       编译过程中，如果没有错误，几分钟内即可完成。如果读者在编译过程中遇到依赖问题，可以自行搜索并安装，HM的编译过程相对顺利，没有太多难点。

       当make的进度达到%时，说明编译完成。最后几行输出表明编译出的可执行文件位于相应位置，可以在“HM/bin/umake/gcc-9.4/x_/release”目录下找到“MCTSExtractor”“parcat”“SEIRemovalApp”“TAppDecoder”“TAppDecoderAnalyser”“TAppEncoder”等可执行文件。

       接下来，我们使用TAppEncoder进行测试，将一个未压缩的yuv序列编码成HEVC视频序列。我们使用的是Derf's Test Media Collection数据集中的akiyo视频序列。下载akiyo_cif.y4m文件后，将其与TAppEncoder可执行文件放在同一文件夹中。

       在HM项目的doc目录下，有一个名为software-manual.pdf的说明文档，详细介绍了HM软件的使用方法。通过阅读该文档，我们可以了解TAppEncoder通过-c参数指定配置文件，并在项目的cfg目录下找到示例配置文件。我们将其中一个配置文件拷贝到工作目录下，并执行代码。如果出现错误，可能是因为配置文件中没有指定帧率和编码总帧数。这是一个HM项目的小坑，需要仔细调试。

       修改配置文件后，再次执行指令，即可正常编码。编码完成后，可以在当前目录下找到输出文件akiyo_hevc.bin，使用PotPlayer播放，显示输入格式为HEVC。但可能存在一些播放异常，需要进一步检查。

       我们可以使用开源软件GitlHEVCAnalyzer对akiyo_hevc.bin进行分析，该软件可以显示视频中的CU、PU等单元以及分块信息。

       --更新：使用HM的TAppEncoder对akiyo_cif.y4m进行编码时，编码后的视频画面会发生色彩异常和抖动异常。目前，已找到原因并成功解决。在解决此问题之前，我们需要了解y4m文件格式。Y4M是一种保存原始YUV序列的文件封装格式，包含视频属性信息。而HM的TAppEncoder编码器需要接收仅由视频帧组成的像素矩阵数据。因此，直接将akiyo_cif.y4m文件输入到HM编码器中可能导致帧不对齐，造成抖动。解决方法是提取视频每一帧像素矩阵，丢弃视频属性信息，并将它们写入新文件。使用ffmpeg进行视频内容提取后，将得到的akiyo_yuv.yuv文件输入到TAppEncoder中，以相同方式进行编码，即可正常播放视频。