1 Android 平台及其多媒体框架结构
1. 1 Android 系统
Android 是Google 与OHA （ Open HandsetAlliance） 推出的开源手机操作系统。Android基于Linux 平台，由操作系统、中间件、用户界面和应用软件组成。Android 平台自底向上由4 个层次组成：
Linux 内核层、运行时库和其他库层、应用框架层、应用程序层。
（1 ） Linux Kernel.Android 底层是一个基于Linux2. 6内核来开发的独立操作系统，该层主要用于提供系统的底层服务，包括安全机制、内存管理、进程管理、网络堆栈和驱动等。
（2） Libraries 和Android Runtime.这一层主要与进程运行相关，包含了一套C/C ++函数库，主要包括Libc、Media、FrAMEwork、WebKit、SGL、OpenGLES、FreeType、SQLite等。核心库提供了Java 编程核心库的大多数功能，这些功能通过Android 应用框架展现给开发人员，另外每一个Android程序都有独立的Dalvik虚拟机为它提供运行环境。
（3） ApplicatiON Framework.该层是Android平台专为应用程序开发而设计的。开发者通过使用核心应用程序调用Android框架提供的API,这个应用程序结构被设计成方便复用的组件，该层由一系列的服务和系统构成。
（4） Applications.Android 本身附带一些核心的应用程序包， 例如Email客户端、浏览器、日历、Google 地图、SMS 短消息程序等。
1. 2 媒体播放器结构及多媒体实现的核心
Android 多媒体系统纵向跨越了Android 系统的所有4 个层次： Java 应用程序层、Java框架层、本地代码层、Linux 驱动层。多媒体本地代码层是多媒体系统的重点。Libmedia库提供多媒体部分的本地框架，Libstagefright 提供多媒体核心功能的实现。
图1 Android 媒体播放器的模块结构
上层的应用程序将媒体的URI 作为输入设置到媒体播放器中，再经过应用框架、JNI和本地框架，一直到设置到StagefrightPlayer 中。在这个过程中没有数据流的传递，只是传递了URI路径。经Stagefright-Player中的解析单元进行解析后，读取音频流，经过解码器的处理转换成原始数据。音频原始数据将被送到音频输出环节中。
Stagefright 是Android 多媒体本地实现的核心。
Stagefright 中包括的内容很多，单从播放的角度来看StagefrightPlayer输入的是文件或网络媒体流，输出的是音视频输出设备，基本功能包括了媒体流控制、文件解析、音视频文件解码等方面。所以，要实现Android多媒体对WMA音频格式媒体文件或流媒体的播放，就需要扩展Stagefright 中的文件解析和音频解码等方面，添加WMA格式的文件解析单元和WMA音频文件解码单元。
2 多媒体系统增加WMA 音频格式的设计
从多媒体系统具体实现的角度来看，WMA 音频格式播放主要经过WMA 格式文件解析、WMA 编码流解码、PCM 输出播放3个阶段。WMA 音频播放器的结构如图2 所示。
图2 WMA 音频播放器的结构
基于Android 多媒体系统音频播放流程， 在WMA 音频格式开发过程中主要有4 项工作：
（1） WMA文件的识别；
（2） WMA 文件的解析；
（3） 编码数据的读取；
（4） 编码数据的解码和输出。
2. 1 WMA格式音频播放功能流程设计
通过调用AwesomePlayer 的setDataSource 函数来设置数据源； AwesomePlayer通过调用MediaExtractor的Create 函数来识别该文件的格式，MediaPlayer 判断该文件为WMA格式后，会创建一个WMAExtractor,在创建WMAExtractor 的同时，WMAExtractor会解析文件头，获取文件中的相关信息。然后调用WMAExtractor的getTrack函数创建一个WMASource;AwesomePlayer通过OMXCodec创建一个WMADecoder;AwesomePlayer 接着创建一个audioPlayer,并把WMADecoder做为数据源传给AudioPlayer,并调用AudioPlayer 的start 函数； AudioPlayer获取WMADecoder中的相关参数： 文件类型、采样率、声道数，并根据该数据开启AudioSink,并把AudioSinkCallback做为回调函数传给AudioSink.AudioPlayer先调用WMADecoder 解第一帧数据， 并把该数据传给AudioSink去播放，当播放完成后AudioSink会调用回调函数AudioSinkCallback 再取解码后的数据，AudioSinkCallback又会调用FillBuffer函数获取解码后的原始数据，解码后数据如果被取完后，AudioPlayer又会调用WMADecoder解下一帧数据给AudioSink,来回反复，直到文件中数全部被播放，播放流程如图3所示。在拉动滚动条时，上层会传来SeekTime,经AudioPlayer传给WMADecoder 再传给WMAExtractor,WMAExtractor 根据上层传来的SeekTime判断出要播放的原始数据的起始位置，然后从该位置读取一个数据包传给WMADecoder 解码。
图3 音频播放流程图
在整个WMA 格式解码播放过程中，主要设计有两个模块： WMAExtractor和WMADecoder.WMAExtractor主要执行WMA 格式文件解析和数据读取功能。
WMADecoder 主要执行解码功能； WMA 格式音频播放功能实现。
（1） WMA 文件的识别。
在判断播放文件格式前，AwesomePlayer 会提前把所支持的格式通过DataSource中的RegisterDefault-Sniffers函数注册进来。判断播放文件格式时，会逐一按次序把该文件和所支持的格式进行匹配，最匹配的格式就是该文件的格式，所以在Datasource中的RegisterDefaultSniffers 函数中应添加如下代码：
void DataSource: : RegisterDefaultSniffers（ ） {
……
RegisterSniffer（ SniffWMA） ;
}
WMA 文件开始有一个16 Byte 的标识，表示是WMA: 30 26 B2 75 8E 66 CF 11 A6 D9 00 AA 62 CE6C.如果音频文件的前16 个字符和这16 Byte 相符，那么就可以判断该文件为WMA文件。WMAExtractor中的SniffWMA 函数就是通过读取文件前16 Byte 来判断该文件是不是WMA文件。在SniffWMA 函数中，如果判断前16 Byte 和WMA 的16 个标识字节相等，就会把MEDIA_MIMETYPE _AUDIO_WMA 给mime-Type 指针，标志着该音频文件类型为WMA 格式。
MEDIA_MIMETYPE_AUDIO_WMA 是在MediaDefs. h文件中定义，在MediaDefs. cpp文件中赋值：
Extern const char * MEDIA_MIMETYPE_AUDIO_WMA; / /在MediaDefs. h头文件中
const char * MEDIA_MIMETYPE_AUDIO_WMA ="audio /wma"; / /MediaDefs. cpp 头文件
（2） WMA 文件的解析。
WMAExtractor 从WMA 文件的第31 Byte 开始取16 Byte,然后依次和file_header、stream_header、data_header、comment_header、extended_content_header对比，如果和file_header 相等，则从下个Byte开始依次获取文件大小、创建时间、数据包个数、…数据包大小。然后再从下个Byte 开始读取16 Byte再进行对比，如果和extended_content_header 相等，则可以从下个Byte中依次获取名称、艺术家、版权、注释等非音频信息。然后再接着读取16 Byte 进行比对，直到和data_header相等。data_header 后就是音频文件解码数据，data_header的结束位置就是第一个数据包在文件中的偏移量。WMAExtractor会创建一个MetaData,并把文件头中获取的sample_rate、Byte_rate、channels、duration都存入MetaData中。在WMAExtractor 的getMeta-Data 函数中，把之前获取的非音频信息放入MetaData中， 最后返回该MetaData.在WMAExtractor 的getTrack 函数中，创建一个WMASource,并把WMA数据和MetaData 传给WMASource.
（3） 编码数据的读取。
获取未解码数据是通过WMASource 的read 函数读取的。WMA数据是以数据包为单位的，同文件中的数据包大小相同。每个数据包中有多帧数据，每个数据包的起始位置减去第一个数据包的起始位置再除以包的大小等于一个整数，这个整数就是该数据包之前数据包的个数。每个数据包的第一个Byte一般都等于0x82.第二个Byte 以后是该数据包的相关信息。
根据包的相关数据就可以获取该包中的未解码数据。
WMASource 的read 读取未解码数据时，首先会判断从WMADecoder 传来的options是否为空，如果不为空，并可以从options中获取一个播放时间seek-TimeUs,就通过seekTimeUs、总播放时间和总数据包的个数算出要播放数据包的起始位置，然后从该起始位置获取一个数据包的数据，并从该数据包中获取有效数据的大小、起始位置、时间等数据，最后把该有效数据和时间放在WMADecoder传来的Buffer 里。
WMASource 的Read 被调用时， 如果传来的Options 为空或是不能从Options中获取时间seek-TimeUs,就会从WMA文件中读取一个数据包，根据其中的有效数据的大小、起始位置获取有效数据，并获取该数据包中的时间，然后把该有效数据和时间放在WMADecoder传来的buffer 里。第一个数据包的起始位置就是解析头文件时获取的第一个数据包的偏移量，所以第一次调用WMASource 的read时，就是从这个偏移量的下个位置读取第一个数据包的。在WMASource 中有一个专门记录读取位置的指针。每次读取1个数据包后，该指针就会指向数据包末尾的下一个位置，当下一次WMASource 的read读取未解码数据时，如果不是音乐定点播放，就会从该指针所指的位置开始读取数据包。
（4） 编码数据的解码和输出。
AwesomePlayer 通过OMXCodec 中的Create 函数创建WMADecoder,所以在OMXCodec中注册WMADecoder的相关信息：
FACTORY_CREATE（ WMADecoder）
…
static sp < MediaSource > InstantiateSoftwareCodec（const char * name,const sp < MediaSource >&source） {
…
static const FactoryInfo kFactoryInfo[]= {
…
FACTORY_REF（ WMADecoder） } } ;
…
static const CodecInfo kDecoderInfo[]= {
…
{ MEDIA_MIMETYPE_AUDIO_WMA,"WMADecoder"}
} ;
在创建WMADecoder 时，把之前创建的WMASource传给WMADecoder.在WMADecoder构造函数中，WMADecoder 从WMASource 中获取Metadata,并从Metadata获取sampleRate、numChannels、duration等。在WMADecoder 的start函数中，通过调用avcodec_open 函数，来分配解码所需的空间、创建并初始化解码所需的相关参数。在WMADecoder析构函数中会调用WMADecoder 的Stop 函数。在Stop 函数中会释放所有相关空间。
WMA 音频解码主要是在WMADecoder 的read 函数中完成的： 首先，先会判断是否是音乐定点播放，如果不是，WMADecoder 会调用WMAExtractor的read函数读取一个未解码的数据包； 然后，对该数据进行解码，将解码后的音频数据存放在MediaBuffer 的Data（ ） 中， 再设置MediaBuffer 的mRangeOffset和mRangeLength,在读取数据包时会从包中获取该数据包中的时间戳，把该时间戳存放在MediaBuffer 的Meta_ data （ ） 中的kKeyTime 里； 最后，WMAdecoder把该MediaBuffer传回给AudioPlayer.如果是音乐定点播放，首先，WMADecoder 会从AudioPlayer 传过来的ReadOption中获取播放时间（ option - > getSeekTo（ &seekTimeUs,&mode ） ） ,在调用WMASource 的read 函数来读取未解码音频数据时会把该时间（ seek-TimeUs） 传给WMASource.WMASource 的read函数获取到该时间后，通过计算得出该时间要播放的音频数据包的起始位置，然后读取该数据包并传给WMADecoder对其进行解码，最后将该解码后的音频数据传给AudioPlayer.
3 实验结果
基于Android 平台的多媒体系统进行设计的WMA 音频播放，在Android 多媒体框架的本地实现核心Stagefright框架里，添加WMA 音频格式。实现Android 对WMA 音频格式的支持，使Android 手机可以播放WMA音频格式的文件。经过实际测试，播放效果达到了预期的要求，声音清晰、音质好。图4 为增加WMA 音频播放模块后Android源码编译结果的截图。图5 为播放WMA 格式文件时对播放界面的截图。图6 为拉动滚动条后正常运行的截图。
图4 Android 源代码编译结果
图5 WMA音频文件播放
图6 WMA音频文件播放
4 结束语
基于Android 多媒体模块中的Stagefright 框架，在智能手机上实现了对WMA 音频格式的支持，使Android智能手机可以播放WMA音频格式的媒体文件或流媒体。该设计在现有基础上实现了对Android操作系统中多媒体系统功能的增强。目前Android平台手机仍然不支持RMVB、WAV 等视频格式，所以Android 多媒体系统的功能还需继续增强和扩展。
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
发布文章
