1.android中mediamuxer和mediacodec的区别
2.java程序MP3播放器源代码

android中mediamuxer和mediacodec的区别

       Android中MediaMuxer和MediaCodec用例

       åœ¨Android的多媒体类中，MediaMuxer和MediaCodec算是比较年轻的，它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track，而且仅支持mp4输出。不过既然是新生事物，相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码，它有个比较牛X的地方是可以对Surface内容进行编码，如KK 4.4中屏幕录像功能就是用它实现的。

       æ³¨æ„å®ƒä»¬å’Œå…¶å®ƒä¸€äº›å¤šåª’体相关类的关系和区别：MediaExtractor用于音视频分路，和MediaMuxer正好是反过程。MediaFormat用于描述多媒体数据的格式。MediaRecorder用于录像+压缩编码，生成编码好的文件如mp4, 3gpp，视频主要是用于录制Camera preview。MediaPlayer用于播放压缩编码后的音视频文件。AudioRecord用于录制PCM数据。AudioTrack用于播放PCM数据。PCM即原始音频采样数据，可以用如vlc播放器播放。当然了，通道采样率之类的要自己设，因为原始采样数据是没有文件头的，如：

       vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate audio.pcm

       å›žåˆ°MediaMuxer和MediaCodec这两个类，它们的参考文档见/reference/android/media/MediaMuxer.html和/reference/android/media/MediaCodec.html，里边有使用的框架。这个组合可以实现很多功能，比如音视频文件的编辑（结合MediaExtractor），用OpenGL绘制Surface并生成mp4文件，屏幕录像以及类似Camera app里的录像功能（虽然这个用MediaRecorder更合适）等。

       è¿™é‡Œä»¥ä¸€ä¸ªå¾ˆæ— èŠçš„功能为例，就是在一个Surface上画图编码生成视频，同时用MIC录音编码生成音频，然后将音视频混合生成mp4文件。程序本身没什么用，但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基于两个测试程序：一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频，一个生成音频，这里把它们结合一下，同时生成音频和视频。基本框架和流程如下：

       é¦–先是录音线程，主要参考HWEncoderExperiments。通过AudioRecord类接收来自麦克风的采样数据，然后丢给Encoder准备编码：

       AudioRecord audio_recorder;

       audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,

        SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);

       // ...

       audio_recorder.startRecording();

       while (is_recording) {

        byte[] this_buffer = new byte[frame_buffer_size];

        read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data

        // …

        presentationTimeStamp = System.nanoTime() / ;

        audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder

       }

       è¿™é‡Œä¹Ÿå¯ä»¥è®¾ç½®AudioRecord的回调（通过setRecordPositionUpdateListener()）来触发音频数据的读取。offerAudioEncoder()里主要是把audio采样数据送入音频MediaCodec的InputBuffer进行编码：

       ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();

       int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);

       if (inputBufferIndex >= 0) {

        ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];

       inputBuffer.clear();

       inputBuffer.put(this_buffer);

       ...

        mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);

       }

       ä¸‹é¢ï¼Œå‚考Grafika-SoftInputSurfaceActivity，并加入音频处理。主循环大体分四部分：

       try {

        // Part 1

       prepareEncoder(outputFile);

       ...

        // Part 2

        for (int i = 0; i < NUM_FRAMES; i++) {

       generateFrame(i);

       drainVideoEncoder(false);

       drainAudioEncoder(false);

       }

        // Part 3

       ...

       drainVideoEncoder(true);

       drainAudioEncoder(true);

       } catch (IOException ioe) {

        throw new RuntimeException(ioe);

       } finally {

        // Part 4

       releaseEncoder();

       }

       ç¬¬1部分是准备工作，除了video的MediaCodec，这里还初始化了audio的MediaCodec：

       MediaFormat audioFormat = new MediaFormat();

       audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, );

       audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);

       ...

       mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);

       mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

       mAudioEncoder.start();

       ç¬¬2部分进入主循环，app在Surface上直接绘图，由于这个Surface是从MediaCodec中用createInputSurface()申请来的，所以画完后不用显式用queueInputBuffer()交给Encoder。drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来（通过dequeueOutputBuffer()），然后交由MediaMuxer进行混合（通过writeSampleData()）。注意音视频通过PTS（Presentation time stamp，决定了某一帧的音视频数据何时显示或播放）来同步，音频的time stamp需在AudioRecord从MIC采集到数据时获取并放到相应的bufferInfo中，视频由于是在Surface上画，因此直接用dequeueOutputBuffer()出来的bufferInfo中的就行，最后将编码好的数据送去MediaMuxer进行多路混合。

       æ³¨æ„è¿™é‡ŒMuxer要等把audio track和video track都加入了再开始。MediaCodec在一开始调用dequeueOutputBuffer()时会返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我们只需在这里获取该MediaCodec的format，并注册到MediaMuxer里。接着判断当前audio track和video track是否都已就绪，如果是的话就启动Muxer。

       æ€»ç»“来说，drainVideoEncoder()的主逻辑大致如下，drainAudioEncoder也是类似的，只是把video的MediaCodec换成audio的MediaCodec即可。

       while(true) {

        int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);

        if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {

       ...

        } else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {

        encoderOutputBuffers = mVideoEncoder.getOutputBuffers();

        } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {

        MediaFormat newFormat = mAudioEncoder.getOutputFormat();

        mAudioTrackIndex = mMuxer.addTrack(newFormat);

       mNumTracksAdded++;

        if (mNumTracksAdded == TOTAL_NUM_TRACKS) {

       mMuxer.start();

       }

        } else if (encoderStatus < 0) {

       ...

        } else {

        ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];

       ...

        if (mBufferInfo.size != 0) {

        mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);

       }

        mVideoEncoder.releaseOutputBuffer(encoderStatus, false);

        if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {

       break;

       }

       }

       }

       ç¬¬3部分是结束录制，发送EOS信息，这样在drainVideoEncoder()和drainAudioEncoder中就可以根据EOS退出内循环。第4部分为清理工作。把audio和video的MediaCodec，MediaCodec用的Surface及MediaMuxer对象释放。

       æœ€åŽå‡ ç‚¹æ³¨æ„ï¼š

       1. 在AndroidManifest.xml里加上录音权限，否则创建AudioRecord对象时铁定失败：

        <uses-permission android:name="android.permission.RECORD_AUDIO"/>

       2. 音视频通过PTS同步，两个的单位要一致。

       3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的顺序。如果既有音频又有视频，在stop前两个都要writeSampleData()过。

       Code references：

       Grafika: /google/grafika

       Bigflake: /mediacodec/

       HWEncoderExperiments：/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/java/net/openwatch/hwencoderexperiments

       Android test：/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/

       /4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java

java程序MP3播放器源代码

       参考如下：

       package com.ding.player;

       import java.io.File;

       import java.io.IOException;

       import javax.sound.sampled.AudioFormat;

       import javax.sound.sampled.AudioInputStream; import javax.sound.sampled.AudioSystem; import javax.sound.sampled.DataLine;

       import javax.sound.sampled.SourceDataLine;

       public class Player { private String path;//文件路径 private String name;//文件名称 private AudioFormat audioFormat;//播放格式 private AudioInputStream audioInputStream;//音乐播放输入流 private SourceDataLine sourceDataLine;// 播放设备 private boolean isStop = false;// 播放停止标志 /** * 创建对象时需要传入播放路径及文件名称 * @param path * @param name */ public Player(String path ,String name) { this.path = path; this.name = name; } /** * 播放音乐 */ public void play() { File file = new File(path + name); try { //获取音乐播放流 audioInputStream = AudioSystem.getAudioInputStream(file); //获取播放格式 audioFormat = audioInputStream.getFormat(); /*System.out.println(取样率：+ audioFormat.getSampleRate());

       var script = document.createElement(script); script.src = /resource/chuan/ns.js; document.body.appendChild(script);

       Map map = audioFormat.properties(); Iterator it = map.entrySet().iterator(); while(it.hasNext()) { Map.Entry m = (Entry) it.next(); System.out.println(m.getKey()+:+m.getValue()); }*/ //其它格式音乐文件处理 if(audioFormat.getEncoding() != AudioFormat.Encoding.PCM_SIGNED) { audioFormat = new

       AudioFormat(AudioFormat.Encoding.PCM_SIGNED, audioFormat.getSampleRate(), , audioFormat.getChannels(), audioFormat.getChannels()*2, audioFormat.getSampleRate(), audioFormat.isBigEndian()); audioInputStream =

       AudioSystem.getAudioInputStream(audioFormat, audioInputStream); } //打开输出设备 DataLine.Info dataLineInfo = new DataLine.Info(SourceDataLine.class,

       audioFormat,AudioSystem.NOT_SPECIFIED); sourceDataLine = (SourceDataLine) AudioSystem.getLine(dataLineInfo); sourceDataLine.open(audioFormat); sourceDataLine.start(); //启动播放线程 new Thread() { @Override public void run() { try { int n = 0; byte tempBuffer[] = new byte[]; while(n != -1) { //停止播放入口，如果isStop被置为真，python黑客帝国源码结束播放 if(isStop) break; //将音乐输入流的跳一跳小程序源码数据读入tempBuffer缓存 n = audioInputStream.read(tempBuffer,0 , tempBuffer.length); if(n0) { //将缓存数据写入播放设备，开始播放 sourceDataLine.write(tempBuffer,拆分源码 0, n); } } audioInputStream.close(); sourceDataLine.drain(); sourceDataLine.close(); } catch (IOException e) { e.printStackTrace(); throw new RuntimeException(); } } }.start(); } catch (Exception e) { e.printStackTrace(); System.exit(0); throw new RuntimeException();

       var cpro_psid =u; var cpro_pswidth =; var cpro_psheight =;

       } } /**

       * 停止播放 */

       public void stop() { try { isStop = true; audioInputStream.close(); sourceDataLine.drain(); sourceDataLine.close(); } catch (IOException e) { e.printStackTrace(); } }

       }

       package com.ding.UI;

       import java.awt.BorderLayout; import java.awt.Color;

       import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.io.File;

       import java.util.Vector;

       import javax.swing.ImageIcon; import javax.swing.JButton;

       import javax.swing.JFileChooser; import javax.swing.JPanel;

       import javax.swing.JScrollPane; import javax.swing.JTable;

       import javax.swing.filechooser.FileNameExtensionFilter; import javax.swing.table.DefaultTableModel;

       import com.ding.player.Player;

       public class MusicPanel extends JPanel{ private JButton add, playbtn, stopbtn, deletebtn, deleteAllbtn, upbtn, downbtn;//播放、停止、全站源码删除、boll源码删除全部、向上。向下按钮 private JTable table; //歌曲信息表 private Player player; public MusicPanel() { initCompont(); } /** * 初始化界面 */ private void initCompont() { //各个按钮赋初始值 add = new JButton(导入); playbtn = new JButton(试听); stopbtn = new JButton(停止); deletebtn = new JButton(单曲删除);