使用媒体投影 API 在设备之间共享屏幕

Question

我正在开发一个具有与其他应用程序共享屏幕功能的应用程序。

我为此使用了媒体投影 API。我还使用 MediaMuxer 组合音频和视频输出以进行屏幕共享。

我知道媒体投影 API 用于屏幕录制，但我只想在录制时共享屏幕。

为此，我修改了 MediaMuxer 类的 writeSampleData 方法，以通过套接字将字节发送到网络上的其他设备。

下面是代码：

OutputStream outStream;

outStream = ScreenRecordingActivity.getInstance().socket.getOutputStream();

void writeSampleData(final int trackIndex, final ByteBuffer byteBuf, final MediaCodec.BufferInfo bufferInfo) {
    if (mStatredCount > 0) {
        mMediaMuxer.writeSampleData(trackIndex, byteBuf, bufferInfo);

        if (bufferInfo.size != 0) {

            byteBuf.position(bufferInfo.offset);
            byteBuf.limit(bufferInfo.offset + bufferInfo.size);

            if (outStream != null) {

                try {

                    byte[] bytes = new byte[byteBuf.remaining()];
                    byteBuf.get(bytes);

                    //Send the data
                    outStream.write(bytes);
                    outStream.flush();

                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

字节通过套接字成功传输，我也能够在接收器端接收这些字节。

下面是接收端接收字节的代码：

private class SocketThread implements Runnable {
    @Override
    public void run() {

        Socket socket;
        try {
            serverSocket = new ServerSocket(SERVER_PORT);
        } catch (IOException e) {
            e.printStackTrace();
        }

        if (null != serverSocket) {
            while (!Thread.currentThread().isInterrupted()) {
                try {
                    socket = serverSocket.accept();
                    CommunicationThread commThread = new CommunicationThread(socket);
                    new Thread(commThread).start();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }


    class CommunicationThread implements Runnable {

        InputStream in;
        DataInputStream dis;

        public CommunicationThread(Socket clientSocket) {


            updateMessage("Server Started...");
        }

        public void run() {           

            while (!Thread.currentThread().isInterrupted()) {

                try {                       

                    byte[] data = new byte[512];               

                } catch (Exception e) {                    

                    e.printStackTrace();

                    try {
                        fos.close();
                    } catch (Exception e1) {

                        e1.printStackTrace();
                    }
                }
            }
        }
    }
}

我按照以下链接进行屏幕共享：

屏幕截图

屏幕录像机

使用 mediaProjection 进行屏幕录制

我使用了上面例子中的一些代码来制作一个应用程序。

我只想知道如何在接收器处处理字节。如何格式化这些字节以从发送方播放实时流？

我是否遵循了发送和接收字节数据的正确方法？

MediaProjection 是否允许在应用程序之间录制时流式传输屏幕？

任何帮助将不胜感激。

Answer 1

一般来说，对于流媒体（包括屏幕共享），音频和视频轨道不会被混合。相反，每个视频帧和音频样本都是使用 RTP/RTSP 等协议发送的，其中每个数据块都用时间戳等其他内容包装。

您可以查看spyadroid，它是通过 RTSP 将音频和视频流传输到浏览器或 VLC 的一个很好的起点。它传输摄像头和麦克风，但您可以根据自己的用例进行调整。

如果您暂时想使用套接字，则必须摆脱MediaMuxer并直接从编码器输出发送帧/样本，附加时间戳至少以在发送 CSD 后同步接收器端的播放 - 假设您以 h.264 格式 - 数据（SPS PPS 又名 csd-0 和 csd-1，当编码器格式更改时可以获得）编码到接收器Decoder，您可以使用输出表面对其进行配置以渲染流。

一些额外的链接：

android-h264-stream-演示

适用于 Android 的 RTMP Java 复用器

实时传输协议

实时传输协议

网络RTC