那些遇到过的问题

在Android上通过TCP套接字传输音频

tri*_*top 15 java sockets android audio-streaming audiotrack

我通过套接字从C服务器传输麦克风输入.我知道流是有效的,因为它与C客户端有关,我在Android客户端上获得了正确的值.

我正在播放1024 flatarray.一个浮点数是4个字节.所以我得到了一个每帧4096字节的传入流.我从这个字节中获取浮点数,我知道这些浮点数是我发送的,所以该部分应该可以工作.

现在,我希望使用AudioTrack将该流直接传输到手机扬声器.我试着输入我直接收到的字节:只是噪音.我试图将它强制转换为字节数组,仍然是相同的.我试图把那个浮点数简化(因为AudioTrack需要字节或短).我可能得到的东西可能是我的麦克风输入(敲门),但非常沙哑,而且极其迟钝.我会理解帧之间是否存在延迟,但我甚至无法获得一个清晰的声音.然而,我可以清楚地输出一个我本地产生的声音,然后放入那个短小的声音.现在我想知道我的代码中是否有一些问题你可以看到,因为我没有看到它们.

我正在做的是:我在一个字节数组中放入4个字节.我把浮子拿出来了.一旦我在我的浮动数组中得到一个帧(我用bool控制它,不好,但它应该工作)我把它放在我的短片中,让audiotrack播放它.这种双重演员可能会很慢,但我这样做是因为它最接近我实际的输入.

编辑: 我通过比较浮点数来检查结束,它们具有介于-1和1之间的正确值,并且与我发送的值相同.由于我在转换为浮动时不改变endianess,我不明白为什么直接将4096字节数组转发到AudioTrack也不起作用.多线程可能有问题,但我不知道它可能是什么.

编辑2: 我发现了一个小问题 - 我在1023处重置了j.但是那个丢失的浮点数应该不是问题所在.除了那之外我做的是将来自套接字的流的方法放在另一个线程中,而不是在异步任务中调用它.这使它工作,我现在能够理解麦克风的声音.质量仍然很差 - 代码中可能有这样的原因吗？我也有大约10秒的延迟.只有大约半秒钟是由WLAN引起的,所以我想知道它是否可能是代码故障.任何进一步的想法表示赞赏

编辑3:我玩了代码并在评论中实现了一些greenapps的想法.使用新的线程结构,我面临着没有任何声音的问题.像一样.我不知道怎么可能,所以我换回来了.我尝试使线程更轻量级的其他东西没有任何影响.我有一个延迟,我的质量很差(我可以识别敲门声,但我无法理解声音).我认为我的转换可能有问题,所以我把我从套接字收到的字节直接放在AudioTrack中 - 只有丑陋的脉冲静态噪音.现在我更加困惑,因为这个确切的流仍然适用于C客户端.如果我找到解决方案,我会报告,但仍然欢迎任何帮助.

编辑4 我应该添加,我可以从另一个Android应用程序播放麦克风输入,我直接将该输入作为字节发送(我将排除浮动播放的东西,并将我直接接收的字节放入我的播放器代码中的audioTrack).
它也发生在我身上,这可能是一个问题,由C服务器流式传输的所述floatarray来自64位机器而手机是32位.这可能是一个问题,即使我只是将浮动数据传输为4个字节？或者,我的另一个想法:我收到的字节的基础数字格式是浮点数.AudioTrack期望什么格式？即使只放入字节 - 我是否需要将该浮点数转换为int并将其转换回字节或其他内容？

新代码: 

public class PCMSocket {

AudioTrack audioTrack;
boolean doStop = false;
int musicLength = 4096;
byte[] music;
Socket socket;
short[] buffer = new short[4096];
float[] fmusic = new float[1024];
WriteToAudio writeThread;
ReadFromSocket readThread;


public PCMSocket()
{

}

public void start()
{
    doStop = false;
    readThread = new ReadFromSocket();
    readThread.start();
}

public class ReadFromSocket extends Thread
{       
    public void run()
    {
    doStop=true;

    InetSocketAddress address = new InetSocketAddress("xxx.xxx.xxx.x", 8000);

    socket = new Socket();
    int timeout = 6000;   
    try {
        socket.connect(address, timeout);
    } catch (IOException e2) {
        e2.printStackTrace();
    }

     musicLength = 1024;

    InputStream is = null;

    try {
        is = socket.getInputStream();
    } catch (IOException e) {
        e.printStackTrace();
    }

    BufferedInputStream bis = new BufferedInputStream(is);
    DataInputStream dis = new DataInputStream(bis);     

    try{

    int minSize =AudioTrack.getMinBufferSize( 44100, AudioFormat.CHANNEL_CONFIGURATION_STEREO, AudioFormat.ENCODING_PCM_16BIT ); 

    audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, 44100,
            AudioFormat.CHANNEL_OUT_STEREO, 
            AudioFormat.ENCODING_PCM_16BIT, minSize,
            AudioTrack.MODE_STREAM);
        audioTrack.play();

      } catch (Throwable t)
      {
          t.printStackTrace();
        doStop = true;
      }

    writeThread = new WriteToAudio();
    readThread.start();

    int i = 0;   
    int j=0;

    try {
        if(dis.available()>0)Log.d("PCMSocket", "receiving");
        music = new byte[4];
        while (dis.available() > 0)
        {
            music[i]=0;
            music[i] = dis.readByte(); 

            if(i==3)
            {
                int asInt = 0;
                asInt = ((music[0] & 0xFF) << 0) 
                        | ((music[1] & 0xFF) << 8) 
                        | ((music[2] & 0xFF) << 16) 
                        | ((music[3] & 0xFF) << 24);
                float asFloat = 0;
                asFloat = Float.intBitsToFloat(asInt);
                fmusic[j]=asFloat;
            }

            i++;
            j++;
            if(i==4)
            {
                music = new byte[4]; 
                i=0;
            }
            if(j==1024)
            {
                j=0;
                if(doStop)doStop=false;
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }

    try {
        dis.close();
    } catch (IOException e) {
        e.printStackTrace();
    }  

    }
};


public class WriteToAudio extends Thread
{       
    public void run()
    {
        while(true){
        while(!doStop)
        {           
            try{
                writeSamples(fmusic);

            }catch(Exception e)
            {
                e.printStackTrace();
            }    
            doStop = true;
        }
        }
    }
};


public void writeSamples(float[] samples) 
{   
   fillBuffer( samples );
   audioTrack.write( buffer, 0, samples.length );
}

private void fillBuffer( float[] samples )
{ 
   if( buffer.length < samples.length )
      buffer = new short[samples.length];

   for( int i = 0; i < samples.length; i++ )
   {
      buffer[i] = (short)(samples[i] * Short.MAX_VALUE);
   }
}   


}
Run Code Online (Sandbox Code Playgroud)

旧代码: 

public class PCMSocket {
AudioTrack audioTrack;
WriteToAudio thread;
boolean doStop = false;
int musicLength = 4096;
byte[] music;
Socket socket;
short[] buffer = new short[4096];
float[] fmusic = new float[1024];


public PCMSocket()
{

}

public void start()
{
    doStop = false;
    new GetStream().executeOnExecutor(AsyncTask.THREAD_POOL_EXECUTOR);
}

private class GetStream extends AsyncTask<Void, Void, Void> {

    @Override
    protected Void doInBackground(Void... values) { 
        PCMSocket.this.getSocket();
        return null;

    }

    @Override
    protected void onPreExecute() {
    }



    @Override
    protected void onPostExecute(Void result)
    {
        return;
    }

    @Override
    protected void onProgressUpdate(Void... values) {
    }
}

private void getSocket()
{
    doStop=true;

    InetSocketAddress address = new InetSocketAddress("xxx.xxx.xxx.x", 8000);

    socket = new Socket();
    int timeout = 6000;   
    try {
        socket.connect(address, timeout);
    } catch (IOException e2) {
        e2.printStackTrace();
    }

     musicLength = 1024;

    InputStream is = null;

    try {
        is = socket.getInputStream();
    } catch (IOException e) {
        e.printStackTrace();
    }

    BufferedInputStream bis = new BufferedInputStream(is);
    DataInputStream dis = new DataInputStream(bis);     

    try{

    int minSize =AudioTrack.getMinBufferSize( 44100, AudioFormat.CHANNEL_CONFIGURATION_STEREO, AudioFormat.ENCODING_PCM_16BIT ); 

    audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, 44100,
            AudioFormat.CHANNEL_OUT_STEREO, 
            AudioFormat.ENCODING_PCM_16BIT, minSize,
            AudioTrack.MODE_STREAM);
        audioTrack.play();

      } catch (Throwable t)
      {
          t.printStackTrace();
        doStop = true;
      }

    thread = new WriteToAudio();
    thread.start();

    int i = 0;   
    int j=0;

    try {
        if(dis.available()>0)Log.d("PCMSocket", "receiving");
        music = new byte[4];
        while (dis.available() > 0)
        {
            music[i]=0;
            music[i] = dis.readByte(); 

            if(i==3)
            {
                int asInt = 0;
                asInt = ((music[0] & 0xFF) << 0) 
                        | ((music[1] & 0xFF) << 8) 
                        | ((music[2] & 0xFF) << 16) 
                        | ((music[3] & 0xFF) << 24);
                float asFloat = 0;
                asFloat = Float.intBitsToFloat(asInt);
                fmusic[j]=asFloat;
            }

            i++;
            j++;
            if(i==4)
            {
                music = new byte[4]; 
                i=0;
            }
            if(j==1023)
            {
                j=0;
                if(doStop)doStop=false;
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }

    try {
        dis.close();
    } catch (IOException e) {
        e.printStackTrace();
    }  

}


public class WriteToAudio extends Thread
{       
    public void run()
    {
        while(true){
        while(!doStop)
        {           
            try{
                writeSamples(fmusic);

            }catch(Exception e)
            {
                e.printStackTrace();
            }    
            doStop = true;
        }
        }
    }
};


public void writeSamples(float[] samples) 
{   
   fillBuffer( samples );
   audioTrack.write( buffer, 0, samples.length );
}

private void fillBuffer( float[] samples )
{ 
   if( buffer.length < samples.length )
      buffer = new short[samples.length*4];

   for( int i = 0; i < samples.length; i++ )
   {
      buffer[i] = (short)(samples[i] * Short.MAX_VALUE);
   }
}   


}
Run Code Online (Sandbox Code Playgroud)

tri*_*top 10

Sooo ...我只是在我绝望地给它赏金之后的几个小时才解决了这个问题,但那是值得的.

我决定重新开始.对于有线程等设计的东西,我从这个很棒的项目中得到了一些帮助,它给了我很多帮助.现在我只使用一个线程.看起来主要的点是铸造的东西,但我不太确定,它也可能是多线程的.我不知道AudioTracker的byte []构造函数需要什么样的字节,但肯定没有浮点字节.所以我知道我需要使用short []构造函数.我所做的是
- 输入字节中的字节[]
- 它们中的4个并将它们转换为循环
浮点数 - 每个浮点数并将它们转换为短路

既然我之前已经这样做了,我不太清楚问题是什么.但现在它有效.我希望这可以帮助那些和我一样痛苦的人.非常感谢参与和评论的所有人.

编辑:我只是考虑了这些变化,并认为我之前使用CHANNEL_CONFIGURATION_STEREO代替MONO对口吃做出了很多贡献.因此,如果您遇到此问题,可能需要先尝试一下.对我而言,它只是解决方案的一部分,改变只是没有帮助.

    static final int frequency = 44100;
    static final int channelConfiguration = AudioFormat.CHANNEL_CONFIGURATION_MONO;
    static final int audioEncoding = AudioFormat.ENCODING_PCM_16BIT;
    boolean isPlaying;
    int playBufSize;
    Socket socket;
    AudioTrack audioTrack;

    playBufSize=AudioTrack.getMinBufferSize(frequency, channelConfiguration, audioEncoding);
    audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, frequency, channelConfiguration, audioEncoding, playBufSize, AudioTrack.MODE_STREAM);

    new Thread() {
        byte[] buffer = new byte[4096];
        public void run() {
            try { 
                socket = new Socket(ip, port); 
            }
            catch (Exception e) {
                e.printStackTrace();
            }
            audioTrack.play();
            isPlaying = true;
            while (isPlaying) {
                int readSize = 0;
                try { readSize = socket.getInputStream().read(buffer); }
                catch (Exception e) {
                    e.printStackTrace();
                }
                short[] sbuffer = new short[1024];
                for(int i = 0; i < buffer.length; i++)
                {

                    int asInt = 0;
                    asInt = ((buffer[i] & 0xFF) << 0) 
                            | ((buffer[i+1] & 0xFF) << 8) 
                            | ((buffer[i+2] & 0xFF) << 16) 
                            | ((buffer[i+3] & 0xFF) << 24);
                    float asFloat = 0;
                    asFloat = Float.intBitsToFloat(asInt);
                    int k=0;
                    try{k = i/4;}catch(Exception e){}
                    sbuffer[k] = (short)(asFloat * Short.MAX_VALUE);

                    i=i+3;
                }
                audioTrack.write(sbuffer, 0, sbuffer.length);
            }  
            audioTrack.stop();
            try { socket.close(); }
            catch (Exception e) { e.printStackTrace(); }
        }
    }.start();
Run Code Online (Sandbox Code Playgroud)

归档时间：

查看次数：

8280 次

最近记录：

9 年，9 月 前
相关归档
设置默认的Java字符编码？ 342
在单元测试中使用Reflection是不好的做法吗？ 94
如何在Android中使用addr2line 74
Java注释ElementType常量是什么意思？ 55
Android:不使用谷歌服务器的语音识别 55
知道在Windows机器上杀死哪个java.exe进程 46
Java - 创建一个新线程 45
扩展类android.support.design.widget.CoordinatorLayout时出错 36
C 在所有接口上侦听多播，响应与接收到的相同 6
尝试从低级套接字服务器发送 HTTP 响应 5
难疑归档
如何克隆特定的Git分支？ 2804
检查JavaScript对象中是否存在密钥？ 2750
如何测试私有函数或具有私有方法,字段或内部类的类？ 2593
在JavaScript中验证十进制数 - IsNumeric() 2318
如何修复android.os.NetworkOnMainThreadException？ 2308
使用pip升级所有包 1859
谁正在侦听Mac OS X上的给定TCP端口？ 1267
如何从JavaScript对象中删除密钥？ 1171
查找包含具有指定名称的列的所有表 - MS SQL Server 1090
如何撤消git reset --hard HEAD~1？ 1083