[問題] iOS播放streaming的audio
各位好，我是剛接觸iOS開發不到3個月的新手
比較正規的課程大概就是看CS 193P 2011的上課影片
其餘的部分大多是找辜狗大神補足
最近需要作一個跟IPCAM有關的APP
目前卡在跟音效處理有關的地方orz
我想要把從IPCAM那邊接收到 g.726編碼的audio stream即時播放出來
想法是
1. 將收到的g.726 raw data解碼成raw PCM後
2. 再使用audio queue servie去將PCM data enqueue並播放
前半段已經使用NSUrlConnection didRecieveData+ ffmpeg的g.726完成了
但是後半段播放出來的聲音一直是播一小段頓一下的狀況
處理的code如下，如果有不清楚的我再將程式碼整個放上來
ConnectionRequest.m
-(void) connection:(NSURLConnection *)connection
didRecieveData:(NSData *)data
{
int outDataSize = 0;
void *outDatabuf = malloc(data.length*8);
//將G.726編碼的data 解碼成raw PCM至outDatabuf
[G726Decoder decodeFrame:data.bytes
withDatasize:data.length
withOutData:outDatabuf
withOutDataSize:&outDataSize];
dispatch_queue_t playQueue = dispatch_queue_create("play", NULL);
dispatch_async(playQueue, ^(void){
playBuffer(outDatabuf, outDataSize);
free(outDatabuf);
});
dispatch_release(playQueue);
}
player.c
void AQCallback(void *in, AudioQueueRef inQ, AudioQueueBufferRef outQB)
{
//將pcm data目前播到的位置開始複製資料到outQB->mAudioData
//使用AudioQueueEnqueueBuffer(inQ, outQB, 0, NULL)來Enqueue
}
int playBuffer(void *pcm, int len)
{
//使用AudioQueueService播放pcm data
//1. 將AudioStreamBasicDescription初始化
//2. 使用AudioQueueNewOutput建立一個outputQueue,
// callback為AQCallback()
//3. 使用AudioQueueAllocateBuffer來建立3個buffer
//4. call 1次AQCallback()來Enqueue
//5. 使用AudioQueueStart開始播放
//6. 用一個while loop卡住直到pcm被播放完畢
}
後面player的部分我有試過直接播一個已經存檔的PCM raw data
可以很順利的播完
但是拿來播stream就變成播一下頓一下播一下頓一下
目前didRecieveData收到的data size大約是1000~2000不等
解完碼後的PCM大小是四倍，大約是4000~8000不等
請問
1. 是否需要將PCM raw data先丟到一個buffer，
等待累積到一定程度以後再丟去player播放?
2. 如果需要一個buffer來處理read/write，那麼這個buffer大小應該要多大比較好?
這種buffer management有沒有iOS版本的範例可以參考?
3. didRecieveData是否能設定每次收下來都固定大小而不是浮動的?
4. 是否改用NSThread會比dispatch queue好?
5. 這種情況改用OpenAL會不會比較快....但是OpenAL好像都拿來作同時播放多個音效?
感謝各位看到最後<(_ _)>
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.216.168.86
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 3 篇)：
MacDev 近期熱門文章
PTT數位生活區 即時熱門文章
