皮皮网

1.深入剖析-ijkplayer框架【音视频开发】
2.FFmpeg学习(一)开篇
3.2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）
4.IOS技术分享| WebRTC iOS源码下载&编译
5.音视频学习从零到整--（5）实现视频编码
6.iOS多模式&富交互视频播放器TTAVPlayer(附源码)

深入剖析-ijkplayer框架【音视频开发】

       随着互联网技术的音源码源码s影迅猛发展，移动设备上的视频视源视频播放需求日益增长，催生了一系列开源和闭源播放器。音源码源码s影这些播放器的视频视源功能虽然强大，兼容性也颇优，音源码源码s影但其基本模块通常包括事务处理、视频视源linux 应用源码下载数据接收和解复用、音源码源码s影音视频解码以及渲染。视频视源以下是音源码源码s影一个简化的基本框架图。

       在众多播放器项目中，视频视源我们选择了ijkplayer进行源码分析。音源码源码s影ijkplayer是视频视源一款基于FFPlay的轻量级Android/iOS视频播放器，支持跨平台，音源码源码s影API易于集成，视频视源编译配置可裁剪，音源码源码s影方便控制安装包大小。本文基于ijkplayer的k0.7.6版本，重点分析其C语言实现的核心代码，以iOS平台为例，Android平台实现类似，具体请读者自行研究。

       ijkplayer的主要目录结构如下：tool（初始化项目工程脚本）、config（编译ffmpeg使用的配置文件）、extra（存放编译ijkplayer所需的依赖源文件，如ffmpeg、openssl等）、ijkmedia（核心代码）、ijkplayer（播放器数据下载及解码相关）、ijksdl（音视频数据渲染相关）、ios（iOS平台上的上层接口封装以及平台相关方法）、android（android平台上的上层接口封装以及平台相关方法）。iOS和Android平台在功能实现上的主要差异在于视频硬件解码和音视频渲染。

       ijkplayer的初始化流程包括创建播放器对象，打开ijkplayer/ios/IJKMediaDemo/IJKMediaDemo.xcodeproj工程，在IJKMoviePlayerViewController类中viewDidLoad方法中创建了IJKFFMoviePlayerController对象，即iOS平台上的播放器对象。

       ijkplayer的初始化方法具体实现如下：创建了IjkMediaPlayer结构体实例_mediaPlayer，主要完成了以下三个动作：创建平台相关的源码梳理文档IJKFF_Pipeline对象，包括视频解码以及音频输出部分；至此，ijkplayer播放器初始化的相关流程已经完成。

       ijkplayer实际上是基于ffplay.c实现的，本章节将以该文件为主线，从数据接收、音视频解码、音视频渲染及同步这三大方面进行讲解，要求读者具备基本的ffmpeg知识。

       当外部调用prepareToPlay启动播放后，ijkplayer内部最终会调用到ffplay.c中的stream_open方法，该方法是启动播放器的入口函数，在此会设置player选项，打开audio output，最重要的是调用stream_open方法。

       从代码中可以看出，stream_open主要做了以下几件事情：创建上下文结构体，设置中断函数，打开文件，探测媒体类型，打开视频、音频解码器，读取媒体数据，将音视频数据分别送入相应的queue中，重复读取和送入数据步骤。

       ijkplayer在视频解码上支持软解和硬解两种方式，可在播放前配置优先使用的解码方式，播放过程中不可切换。iOS平台上硬解使用VideoToolbox，Android平台上使用MediaCodec。ijkplayer中的音频解码只支持软解，暂不支持硬解。

       ijkplayer中Android平台使用OpenSL ES或AudioTrack输出音频，iOS平台使用AudioQueue输出音频。audio output节点在ffp_prepare_async_l方法中被创建。

       iOS平台上采用OpenGL渲染解码后的YUV图像，渲染线程为video_refresh_thread，最后渲染图像的直播 源码 代理方法为video_image_display2。

       对于播放器来说，音视频同步是一个关键点，同时也是一个难点。通常音视频同步的解决方案就是选择一个参考时钟，播放时读取音视频帧上的时间戳，同时参考当前时钟参考时钟上的时间来安排播放。

       ijkplayer支持的事件比较多，具体定义在ijkplayer/ijkmedia/ijkplayer/ff_ffmsg.h中。在播放器底层上报事件时，实际上就是将待发送的消息放入消息队列，另外有一个线程会不断从队列中取出消息，上报给外部。

       本文只是粗略的分析了ijkplayer的关键代码部分，平台相关的解码、渲染以及用户事务处理部分，都没有具体分析到，大家可以参考代码自行分析。

FFmpeg学习(一)开篇

       为什么要学习FFmpeg？本人希望深入研究音视频领域，音视频领域内容丰富，我计划从多个方面逐步学习：FFmpeg常用功能实践、FFmpeg源码研究、OpenGL、OpenGLES、Metal、AR、WebRTC、直播架构等。

       当前音视频有哪些应用场景？从众多应用场景可以看出，音视频技术至关重要，尤其在5G时代，网络传输问题得到极大提升，音视频需求将爆发式增长。以下是一个简单播放器架构图：

       音频解码和视频解码一般使用FFmpeg解码，iOS8之后提供了VideoToolBox框架支持硬解码。视频渲染通常使用OpenGL直接利用GPU渲染，还有GPUImage、SDL、还原系统源码VLC等第三方框架。

       音视频播放中的音视频同步是一项复杂的技术。学习一项技术需要高效的方法，只有不断实践才能深刻理解。学习FFmpeg也需要好的文档，以下列举一些必备的学习文档地址：

       以上都是英文文档，如果英文学习困难，可以参考以下中文资料：

       此外，推荐两本非常好的书籍：

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       1. FFmpeg简介：FFmpeg是一套用于记录、转换数字音频、视频并将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。FFmpeg在Linux平台下开发，但也可以在其他操作系统环境中编译运行，包括Windows、Mac OS X等。这个项目最早由Fabrice Bellard发起，年至年间由Michael Niedermayer主要负责维护。许多FFmpeg的开发人员都来自MPlayer项目，当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。

       2. FFmpeg能做什么

       3. FFmpeg架构模块组成：我们先看一张FFmpeg的架构图：

       下载好的源码，我们也可以看到大致的源码结构：

       3.1 libavutil

       3.2 libavformat

       FFmpeg是否支持某种媒体封装格式，取决于编译时是否包含了该格式的封装库。根据实际需求，可进行媒体封装格式的扩展，增加自己定制的封装格式，即在AVFormat中增加自己的封装处理模块。

       3.3 libavcodec

       AVCodec中实现了目前多媒体绝大多数的防avbobo源码编解码格式，既支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.(AVC)编码，需要使用x编码器；H.(HEVC)编码，需要使用x编码器；MP3(mp3lame)编码，需要使用libmp3lame编码器。如果希望增加自己的编码格式或硬件编解码，则需要在AVCodec中增加相应的编解码模块。

       3.4 libavfilter

       3.5 libavdevice

       3.6 libswscale

       3.7 libpostproc

       3.8 libswrressample

       3.9 ffmpeg

       3. ffsever

       3. ffplay

       4. FFmpeg安装：下载源码后，我们可以查看一下目录结构：

       输入./configure --help命令查看配置信息

       内容太多需要分页，输入./configure --help | more

       从上面的帮助，我们可以尝试输入：./configure --list-decoders查看所有解码器

       接下来我们可以尝试输入：./configure --list-encoders查看所有编码器

       接下来我们可以尝试输入：./configure --list-filters查看所有滤镜器

       接下来我们可以尝试输入：./configure --list-muxers查看FFmpeg的封装，封装Muxing是指将压缩后的编码封装到一个容器格式中，我们输入./configure --list-muxers来查看FFmpeg支持哪些容器格式：

       从上面打印信息来看，FFmpeg支持生成裸流文件，如H.、AAC、PCM，也支持一些常见的格式，如MP3、MP4、FLV、M3U8、WEBM等。

       从上面解封装又称为解复用格式的支持信息中可以看到，FFmpeg支持的demuxter非常多，包含image、MP3、FLV、MP4、MOV、AVI等。

       从支持的协议列表中可以看到，FFmpeg支持的流媒体协议比较多，包括MMS、HTTP、HTTPS、HLS、RTMP、RTP，甚至支持TCP、UDP，它还支持使用file协议的本地文件操作和使用concat协议支持的多个文件串流操作。

       接下来我们可以尝试输入：./configure --list-parsers查看FFmpeg支持的解析器

       接下来我们可以尝试输入：./configure --list-bsfs查看FFmpeg支持的字节流过滤器

       接下来我们可以尝试输入：./configure --list-indevs查看有效的输入设备

       接下来我们可以尝试输入：./configure --list-outdevs查看有效的输出设备

年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

       音视频工作领域繁复多样，自学时易陷入迷茫。本文整理出九个前景不错的方向：直播、传输、算法、视频播放器、流媒体后端、短视频、音频播放、视频编辑、图像处理。以下为详细学习路线：

       音视频基础

音频基础知识

视频基础知识

解复用基础知识

FFmpeg开发环境搭建

音视频开发常用工具

       FFmpeg实战教程

FFmpeg命令

SDL跨平台

FFmpeg基石精讲

FFmpeg过滤器

FFmpeg音视频解复用+解码

ffplay播放器

FFmpeg音视频编码+复用合成视频

ffmpeg多媒体

FFmpeg+ QT播放器

       流媒体客户端

RTMP推拉流项目实战

RTSP流媒体实战

HLS拉流分析

       流媒体服务器

SRS源码剖析协程

ZLMediaKit源码剖析

       WebRTC项目实战

WebRTC中级开发实践指南

WebRTC高级开发-SRS 4.0/5.0源码分析

WebRTC高级开发-MESH模型多人通话

WebRTC高级开发-Janus SFU模型多人通话

       Android NDK

Android NDK开发基础

Android FFmpeg编译和应用

Android RTMP推拉流

Android Ijkplayer源码分析

       iOS音视频开发

iOS FFmpeg 6.0编译和应用

iOS FFmpeg RTMP推拉流

VideoToolbox硬件编解码

iOS jkplayer编译和应用

iOS ijkplayer编译和应用

       音视频项目实战

       相关开源网站与地址

       本文涵盖音视频全栈开发技术，适合各类技术人员。

IOS技术分享| WebRTC iOS源码下载&编译

       WebRTC iOS源码下载与编译步骤详解

       为了在MacBook Pro（Retina, -inch, Mid ）运行macOS Big Sur .5环境中编译WebRTC，首先需要准备必要的工具和环境。

       1. 安装depot_tools

       depot_tools是Google编译Chromium或WebRTC的工具包。确保您的V-/- P-/- N服务已开启，并配置终端代理。如果遇到问题，检查代理设置并根据需要配置终端。

       2. 配置终端代理

       在终端代理设置中输入相关配置信息，注意配置仅对当前终端有效，重启终端后需重新设置。

       3. 安装ninja

       WebRTC的编译工具ninja需要安装到系统目录，或者将其添加到环境变量中。

       4. 下载WebRTC源码

       设置编译目标平台（如iOS），然后从Release Notes中选择目标版本（例如M），下载相应的源码。

       5. 编译WebRTC

       WebRTC iOS版提供内置编译脚本，通常在src/out_ios_libs目录下。根据版本调整脚本配置，编译完成后，WebRTC.framework将位于src/out_ios_libs。

       6. 生成Example并运行

       完成下载和编译后，您可以在指定目录找到编译好的WebRTC框架，并进行相关应用的开发和测试。

音视频学习从零到整--（5）实现视频编码

       音视频学习深入：视频编码实现详解

       自iOS 8.0起，VideoToolBox.framework的API被苹果公开，为音视频开发者提供了硬件编码的能力。VideoToolBox是一个基于C语言的低级框架，它直接访问硬件编码器和解码器，处理视频压缩、解压缩以及像素数据的转换。在音视频项目开发中，掌握VideoToolBox至关重要，尤其对有志于音视频开发的人来说，是学习的核心内容。

       视频编码过程涉及以下步骤：

       首先，理解编码输入（CVPixelBuffer）和输出（CMSampleBuffer）的数据结构，开发者需将原始图像数据封装为CVPixelBuffer，这在Apple Developer文档中有详细说明。

       编码前，CVPixelBuffer存储在缓存区，操作时需加锁，以减少内存交换，iOS平台提供的API能简化这一过程。

       使用VTCompressionSessionCreate创建编码会话，设置相关参数后，进行编码数据的捕获和处理，包括准备编码、获取SPS/PPS信息。

       编码成功后，回调函数会被调用，处理编码后的H数据，最后将压缩数据写入文件。

       对于深入学习音视频技术，免费资源也非常丰富。例如FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发的学习资料，包括《Andoird音视频开发必备手册+学习视频+面试真题+学习路线图+项目实战源码》等，可通过加入群组获取。

iOS多模式&富交互视频播放器TTAVPlayer(附源码)

       源码可见:[直接点击]

       为了提升播放器的交互友好性与适应多样化业务需求，决定对播放器进行优化。

       本次优化主要目标是实现四个播放模式：普通模式、竖屏模式、横屏模式、静音模式。

       普通模式用于商品内容和文章内容的嵌套播放，H5桥接播放。竖屏模式提供沉浸式体验，用于H5桥接播放与静音播放时的点击查看详情场景，如微博、手淘微淘。横屏模式追求最佳播放体验，提供丰富的交互操作，如快捷音量调节、播放进度调整和屏幕亮度控制。静音模式适用于列表自动播放场景，如手淘微淘列表。

       最终实现效果包括不同模式的支持，以及基础功能和自定义模式的扩展性设计。

       设计思路强调“最小接入成本与最大扩展性”。在API和Framework层面，提供简单易用的接口，同时为自定义需求提供强大的能力。

       播放器设计包含五种模式，基于AVPlayer实现基本播放功能，同时创建TTAVPlayerView用于展示视频及UI控件。

       TTAVPlayer负责播放控制与状态回调，TTAVPlayerView面向上层调用者，提供界面渲染和业务逻辑。

       实现中，设计确保TTAVPlayerView代码的纯净性，与业务代码解耦，专注于视频播放。

       播放器提供丰富功能，包括手势识别、自动横竖屏切换、网络切换检测、静音播放等。

       优化成果旨在提升播放器的交互体验与适应性，欢迎提供反馈、报告Bug或提出新功能需求。

       获取源码、Demo与****：

       知乎:[直接点击]

       GitHub:[直接点击]

       简书:[直接点击]

iOS音视频开发——FFmpeg库编译

       在进行iOS音视频开发时，首先确保您的设备上安装了Xcode，这是苹果官方提供的开发工具，可以从App Store下载安装。

       接下来，为了安装所需的包管理工具，需要安装Homebrew。Homebrew是Mac平台上的便捷工具，用于获取系统中可能缺失的Linux工具，安装过程只需一行命令即可完成。如果安装成功，终端会显示相应的反馈。

       为了编译适合iOS的FFmpeg库，我们需要gas-preprocessor脚本文件。将gas-preprocessor.pl复制到/usr/local/bin目录，并赋予执行权限。同时，了解Yasm的作用，它是一个NASM汇编的替代品，支持多种平台和格式的编译。

       接下来，运行FFmpeg-iOS-build-script脚本，这个脚本会自动下载并编译最新的FFmpeg版本，生成iOS可用的库。在终端中，切换到脚本目录并执行命令，以完成编译和打包过程。

       编译完成后，FFmpeg源码和所需的lib文件就会出现。将这些文件集成到你的开发工程中是关键步骤。在Build Setting中，更新header search Path，确保它指向包含FFmpeg头文件的工程目录。

       至此，你已经成功地安装和集成FFmpeg库到你的iOS项目中，为音视频开发提供了必要的工具支持。

成品短视频源码入口在哪

       成品短视频源码的入口通常位于开发者提供的下载链接或官方文档中。这些源码可能通过开发者的官方网站、第三方源码分享平台（如GitHub）或专门的源码交易网站获得。

       要找到成品短视频源码的入口，可以首先访问开发者的官方网站，在“资源中心”或“开发者专区”等栏目中查找源码下载链接或相关信息。如果官方渠道没有提供源码，可以尝试在GitHub等第三方开发者平台上搜索相关的源码项目。

       在下载源码后，需要解压并查看源码的结构。通常，源码的入口文件（如`main.py`、`app.js`、`MainActivity.java`（Android）或`AppDelegate.swift/AppDelegate.m`（iOS）等）会位于源码的根目录或特定的子目录中。通过查看这些入口文件，可以了解应用程序的启动和运行过程，进而进行后续的定制和开发工作。

       请注意，在下载和使用成品短视频源码时，务必注意版权和授权问题，确保遵守相关的法律法规和使用条款。同时，也需要注意源码的版本和兼容性，以确保其能在自己的开发环境中正常运行。