kam*_*ame 0 python audio processing microcontroller real-time
我不太确定我是否应该在这里提出这个问题.我想做一个艺术项目.我想使用语音作为输入,将图像作为输出.图像随声音而变化.
我怎么能意识到这一点？因为我需要实时或50毫秒以下的延迟.起初我认为使用微控制器会更好.但我想计算巨大的图像,也许我的微控制器无法做到这一点.例如,我想计算10.000个移动物体.我可以用windows/linux/mircocontroller实现这个吗？
如果我可以使用Python,那将是非常好的.或者你处理的东西是更好的选择吗？
你需要更多细节吗？
您是否考虑过使用Pure Data(Pd)或Max等图形数据流环境？Max是商业产品,但Pd是免费的.
即使您最终没有将Pd用于最终项目,它也是一款出色的快速原型制作工具.虽然Pd的图形处理能力有限,但有一些扩展,例如Gridflow和Gem,它们可能对您有所帮助.当然使用Pd,您可以使用[小提琴〜]对象分析传入的声音,这将为您提供各个部分的整体音高和频率/幅度以及[env~],这将为您提供RMS幅度.然后,您可以非常轻松地将声音(音高,振幅,音色)的变化映射到图像的各种属性,例如Gem或Gridflow中的颜色,形状,元素数量等.
即使在现代桌面GPU上,10k移动物体听起来也很多!在运行中计算所有这些位置将消耗大量资源.我认为即使使用像openFrameworks这样的专用C++图形库,这也许会很困难.您可能需要考虑优化策略,例如预渲染图像的各个方面,并使用实时音频控件来确定在任何给定时间显示哪些预渲染组件.这可能会产生对10k个对象的控制错觉,而实际上大部分都是预渲染的.
祝好运!