来自AVAudioPCMBuffer的频谱图使用Swift中的Accelerate框架

Question

我正试图从AVAudioPCMBufferSwift中生成一个谱图.我安装了一个tap AVAudioMixerNode并接收带有音频缓冲区的回调.我想将缓冲区中的信号转换为[Float:Float]字典,其中键表示频率,值表示相应频率上的音频幅度.

我尝试使用Apple的Accelerate框架,但我得到的结果似乎很可疑.我确定这只是我转换信号的方式.

我查看了这篇博客文章以供参考.

这是我有的:

self.audioEngine.mainMixerNode.installTapOnBus(0, bufferSize: 1024, format: nil, block: { buffer, when in
    let bufferSize: Int = Int(buffer.frameLength)

    // Set up the transform
    let log2n = UInt(round(log2(Double(bufferSize))))
    let fftSetup = vDSP_create_fftsetup(log2n, Int32(kFFTRadix2))

    // Create the complex split value to hold the output of the transform
    var realp = [Float](count: bufferSize/2, repeatedValue: 0)
    var imagp = [Float](count: bufferSize/2, repeatedValue: 0)
    var output = DSPSplitComplex(realp: &realp, imagp: &imagp)

    // Now I need to convert the signal from the buffer to complex value, this is what I'm struggling to grasp.
    // The complexValue should be UnsafePointer<DSPComplex>. How do I generate it from the buffer's floatChannelData?
    vDSP_ctoz(complexValue, 2, &output, 1, UInt(bufferSize / 2))

    // Do the fast Fournier forward transform
    vDSP_fft_zrip(fftSetup, &output, 1, log2n, Int32(FFT_FORWARD))

    // Convert the complex output to magnitude
    var fft = [Float](count:Int(bufferSize / 2), repeatedValue:0.0)
    vDSP_zvmags(&output, 1, &fft, 1, vDSP_length(bufferSize / 2))

    // Release the setup
    vDSP_destroy_fftsetup(fftsetup)

    // TODO: Convert fft to [Float:Float] dictionary of frequency vs magnitude. How?
})

我的问题是

1. 如何将buffer.floatChannelDatato 转换UnsafePointer<DSPComplex>为传递给vDSP_ctoz函数？有没有不同/更好的方法可以做到甚至绕过vDSP_ctoz？
2. 如果缓冲区包含来自多个通道的音频,这是不同的？当缓冲音频通道数据是否交错时,它有何不同？
3. 如何将fft数组中的索引转换为以Hz为单位的频率？
4. 还有什么我可能做错了吗？

更新

谢谢大家的建议.我按照接受的答案建议填写复杂数组.当我绘制值并在音叉上播放440 Hz音调时,它会精确地记录它应该的位置.

这是填充数组的代码:

var channelSamples: [[DSPComplex]] = []
for var i=0; i<channelCount; ++i {
    channelSamples.append([])
    let firstSample = buffer.format.interleaved ? i : i*bufferSize
    for var j=firstSample; j<bufferSize; j+=buffer.stride*2 {
        channelSamples[i].append(DSPComplex(real: buffer.floatChannelData.memory[j], imag: buffer.floatChannelData.memory[j+buffer.stride]))
    }
}

channelSamples然后,该阵列为每个通道保持单独的样本数组.

要计算我用过的幅度:

var spectrum = [Float]()
for var i=0; i<bufferSize/2; ++i {
    let imag = out.imagp[i]
    let real = out.realp[i]
    let magnitude = sqrt(pow(real,2)+pow(imag,2))
    spectrum.append(magnitude)
}

Answer 1

1. Hacky 方式：你可以只转换一个浮点数组。reals 和 image 值相继变化。
2. 这取决于音频是否交错。如果是交错的（大多数情况），左通道和右通道位于 STRIDE 2 的数组中
3. 您的情况中的最低频率是 1024 个样本周期的频率。如果是 44100kHz，则约为 23ms，频谱的最低频率将为 1/(1024/44100) (~43Hz)。下一个频率将是此频率的两倍（~86Hz），依此类推。