1.深入剖析-ijkplayer框架【音视频开发】
2.java程序MP3播放器源代码
3.rosbag相关源码解析
4.SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play

深入剖析-ijkplayer框架【音视频开发】

       随着互联网技术的框架框架迅猛发展，移动设备上的源码视频播放需求日益增长，催生了一系列开源和闭源播放器。框架框架这些播放器的源码功能虽然强大，兼容性也颇优，框架框架但其基本模块通常包括事务处理、源码知音漫客源码数据接收和解复用、框架框架音视频解码以及渲染。源码以下是框架框架一个简化的基本框架图。

       在众多播放器项目中，源码我们选择了ijkplayer进行源码分析。框架框架ijkplayer是源码一款基于FFPlay的轻量级Android/iOS视频播放器，支持跨平台，框架框架API易于集成，源码编译配置可裁剪，框架框架方便控制安装包大小。本文基于ijkplayer的pythonoa系统源码k0.7.6版本，重点分析其C语言实现的核心代码，以iOS平台为例，Android平台实现类似，具体请读者自行研究。

       ijkplayer的主要目录结构如下：tool（初始化项目工程脚本）、config（编译ffmpeg使用的配置文件）、extra（存放编译ijkplayer所需的依赖源文件，如ffmpeg、openssl等）、ijkmedia（核心代码）、ijkplayer（播放器数据下载及解码相关）、ijksdl（音视频数据渲染相关）、ios（iOS平台上的上层接口封装以及平台相关方法）、android（android平台上的上层接口封装以及平台相关方法）。iOS和Android平台在功能实现上的主要差异在于视频硬件解码和音视频渲染。

       ijkplayer的前台直销源码初始化流程包括创建播放器对象，打开ijkplayer/ios/IJKMediaDemo/IJKMediaDemo.xcodeproj工程，在IJKMoviePlayerViewController类中viewDidLoad方法中创建了IJKFFMoviePlayerController对象，即iOS平台上的播放器对象。

       ijkplayer的初始化方法具体实现如下：创建了IjkMediaPlayer结构体实例_mediaPlayer，主要完成了以下三个动作：创建平台相关的IJKFF_Pipeline对象，包括视频解码以及音频输出部分；至此，ijkplayer播放器初始化的相关流程已经完成。

       ijkplayer实际上是基于ffplay.c实现的，本章节将以该文件为主线，从数据接收、音视频解码、音视频渲染及同步这三大方面进行讲解，要求读者具备基本的ffmpeg知识。

       当外部调用prepareToPlay启动播放后，ijkplayer内部最终会调用到ffplay.c中的stream_open方法，该方法是后端程序源码启动播放器的入口函数，在此会设置player选项，打开audio output，最重要的是调用stream_open方法。

       从代码中可以看出，stream_open主要做了以下几件事情：创建上下文结构体，设置中断函数，打开文件，探测媒体类型，打开视频、音频解码器，读取媒体数据，将音视频数据分别送入相应的queue中，重复读取和送入数据步骤。

       ijkplayer在视频解码上支持软解和硬解两种方式，可在播放前配置优先使用的解码方式，播放过程中不可切换。hutool源码解密iOS平台上硬解使用VideoToolbox，Android平台上使用MediaCodec。ijkplayer中的音频解码只支持软解，暂不支持硬解。

       ijkplayer中Android平台使用OpenSL ES或AudioTrack输出音频，iOS平台使用AudioQueue输出音频。audio output节点在ffp_prepare_async_l方法中被创建。

       iOS平台上采用OpenGL渲染解码后的YUV图像，渲染线程为video_refresh_thread，最后渲染图像的方法为video_image_display2。

       对于播放器来说，音视频同步是一个关键点，同时也是一个难点。通常音视频同步的解决方案就是选择一个参考时钟，播放时读取音视频帧上的时间戳，同时参考当前时钟参考时钟上的时间来安排播放。

       ijkplayer支持的事件比较多，具体定义在ijkplayer/ijkmedia/ijkplayer/ff_ffmsg.h中。在播放器底层上报事件时，实际上就是将待发送的消息放入消息队列，另外有一个线程会不断从队列中取出消息，上报给外部。

       本文只是粗略的分析了ijkplayer的关键代码部分，平台相关的解码、渲染以及用户事务处理部分，都没有具体分析到，大家可以参考代码自行分析。

java程序MP3播放器源代码

       参考如下：

       package com.ding.player;

       import java.io.File;

       import java.io.IOException;

       import javax.sound.sampled.AudioFormat;

       import javax.sound.sampled.AudioInputStream; import javax.sound.sampled.AudioSystem; import javax.sound.sampled.DataLine;

       import javax.sound.sampled.SourceDataLine;

       public class Player { private String path;//文件路径 private String name;//文件名称 private AudioFormat audioFormat;//播放格式 private AudioInputStream audioInputStream;//音乐播放输入流 private SourceDataLine sourceDataLine;// 播放设备 private boolean isStop = false;// 播放停止标志 /** * 创建对象时需要传入播放路径及文件名称 * @param path * @param name */ public Player(String path ,String name) { this.path = path; this.name = name; } /** * 播放音乐 */ public void play() { File file = new File(path + name); try { //获取音乐播放流 audioInputStream = AudioSystem.getAudioInputStream(file); //获取播放格式 audioFormat = audioInputStream.getFormat(); /*System.out.println(取样率：+ audioFormat.getSampleRate());

       var script = document.createElement(script); script.src = /resource/chuan/ns.js; document.body.appendChild(script);

       Map map = audioFormat.properties(); Iterator it = map.entrySet().iterator(); while(it.hasNext()) { Map.Entry m = (Entry) it.next(); System.out.println(m.getKey()+:+m.getValue()); }*/ //其它格式音乐文件处理 if(audioFormat.getEncoding() != AudioFormat.Encoding.PCM_SIGNED) { audioFormat = new

       AudioFormat(AudioFormat.Encoding.PCM_SIGNED, audioFormat.getSampleRate(), , audioFormat.getChannels(), audioFormat.getChannels()*2, audioFormat.getSampleRate(), audioFormat.isBigEndian()); audioInputStream =

       AudioSystem.getAudioInputStream(audioFormat, audioInputStream); } //打开输出设备 DataLine.Info dataLineInfo = new DataLine.Info(SourceDataLine.class,

       audioFormat,AudioSystem.NOT_SPECIFIED); sourceDataLine = (SourceDataLine) AudioSystem.getLine(dataLineInfo); sourceDataLine.open(audioFormat); sourceDataLine.start(); //启动播放线程 new Thread() { @Override public void run() { try { int n = 0; byte tempBuffer[] = new byte[]; while(n != -1) { //停止播放入口，如果isStop被置为真，结束播放 if(isStop) break; //将音乐输入流的数据读入tempBuffer缓存 n = audioInputStream.read(tempBuffer,0 , tempBuffer.length); if(n0) { //将缓存数据写入播放设备，开始播放 sourceDataLine.write(tempBuffer, 0, n); } } audioInputStream.close(); sourceDataLine.drain(); sourceDataLine.close(); } catch (IOException e) { e.printStackTrace(); throw new RuntimeException(); } } }.start(); } catch (Exception e) { e.printStackTrace(); System.exit(0); throw new RuntimeException();

       var cpro_psid =u; var cpro_pswidth =; var cpro_psheight =;

       } } /**

       * 停止播放 */

       public void stop() { try { isStop = true; audioInputStream.close(); sourceDataLine.drain(); sourceDataLine.close(); } catch (IOException e) { e.printStackTrace(); } }

       }

       package com.ding.UI;

       import java.awt.BorderLayout; import java.awt.Color;

       import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.io.File;

       import java.util.Vector;

       import javax.swing.ImageIcon; import javax.swing.JButton;

       import javax.swing.JFileChooser; import javax.swing.JPanel;

       import javax.swing.JScrollPane; import javax.swing.JTable;

       import javax.swing.filechooser.FileNameExtensionFilter; import javax.swing.table.DefaultTableModel;

       import com.ding.player.Player;

       public class MusicPanel extends JPanel{ private JButton add, playbtn, stopbtn, deletebtn, deleteAllbtn, upbtn, downbtn;//播放、停止、删除、删除全部、向上。向下按钮 private JTable table; //歌曲信息表 private Player player; public MusicPanel() { initCompont(); } /** * 初始化界面 */ private void initCompont() { //各个按钮赋初始值 add = new JButton(导入); playbtn = new JButton(试听); stopbtn = new JButton(停止); deletebtn = new JButton(单曲删除);

rosbag相关源码解析

       rosbag核心功能解析

       rosbag主要由rosbag包和rosbag_storage包构成，其常用功能包括play、record和view。下面逐一探讨它们的实现流程。

       Record功能

       记录过程如下：

       指定要订阅的topic，通过subscribe函数进行订阅。

       subscribe函数关联doQueue回调，关键代码如下：

       ... (doQueue函数内容省略)

       执行doRecord函数保存数据，涉及doWrite函数，主要调用writeMessageDataRecord：

       ... (doWrite和writeMessageDataRecord函数内容省略)

       Play功能

       播放过程包括：

       通过Bag类打开并解析.bag文件。

       初始化view对象，用于有条件地显示数据。

       发布bag内消息并进行广告。

       消息的发布。

       Bag类与View类

       Bag类用于打开并解析.bag文件，解析工作主要在startReadingVersion函数内进行。而View类在Bag类的基础上，对解析结果进行筛选和展示，它负责迭代bag内消息数据，流程如下：

       构造View类时，通过updateQueries函数处理消息迭代器。

       初始化iters_，根据消息时间进行排序。

       每次输出时间最早的message_instance_并补充后续消息，保持时间顺序。

       对iters_内的实体持续更新并排序。

SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play

       本章内容梳理了SRS在接收到RTMP信息后如何进行转发的过程。在此过程中，首先进行代码梳理，作者也在源码熟悉阶段，可能尚未完全梳理完接受到RTMP后信息如何处理、缓存以及转发给直播用户等内容。

       SRS源码中的Play流程如下：

       1. 进入play流程：本章内容直接从SrsRtmpConn::stream_service_cycle()方法开始梳理。

       2. 在接受流程中，客户类型为SrsRtmpConnFMLEPublish “fmle publish”，而在转发流程中，客户类型为SrsRtmpConnPlay。

       3. 在http_hooks_on_play()方法中，回调on_play()方法通知vhost，xxx用户已经开始play。

       4. 在http_hooks_on_stop()方法中，回调on_stop()方法通知vhost，xxx用户已经停止play。

       5. 最重要的是进入该函数。

       在函数中：

       1.1 根据客户端创建消费者对象：create_consumer(this, consumer)

       1.2 为该消费者开启一个独立协程：trd.start() //此处一直不太明白，在play流程中创建一个协程用来做什么?

       1.3 进入play主流程：do_playing(source, consumer, &trd);

       2. 进入主play循环：do_playing()函数内容众多且非常重要，因此将函数内容全部列出。

       2.1 通知消费者准备play

       2.2 从消费者列表中取出Rtmp信息（SrsMessageQueue）

       2.3 进入play入口

       3. 进入SRS发送接口（play）：在int SrsProtocol::send_and_free_messages(SrsSharedPtrMessage** msgs, int nb_msgs, int stream_id)函数中，进入int SrsProtocol::do_send_messages(SrsSharedPtrMessage** msgs, int nb_msgs)，该函数有一个#ifdef SRS_PERF_COMPLEX_SEND宏定义，一般rtmp协议都是要混合音视频数据，在做转发。在往后面看，

       最后进入

       在该函数中，最重要的一点是send message总出口writen()函数。它负责将转发给直播用户的流转发出去。

       4. 最后：play总结

       （1）通知client开始play

       （2）从消费者列表中取出Rtmp数据

       （3）从总出口writev（）函数中转发出去