如何在 Python 中处理流式传输到 Firebase 信令服务器的视频

Question

我已设法将网络摄像头设置为指向 Firebase 数据库上的特定位置并使用 WebRTC 播放视频。

我在 Javascript 中按如下方式执行此操作（并显示在我的 HTML 中）：

<video id="yourVideo" autoplay muted playsinline></video>
...

var database = firebase.database().ref('node_on_firebase');
var yourVideo = document.getElementById("yourVideo");
var friendsVideo = document.getElementById("friendsVideo");
var yourId = Math.floor(Math.random()*1000000000);
var servers = {'iceServers': [{'urls': 'stun:stun.services.mozilla.com'}, {'urls': 'stun:stun.l.google.com:19302'}, {'urls': 'turn:numb.viagenie.ca','credential': 'webrtc','username': 'websitebeaver@mail.com'}]};

var pc = new RTCPeerConnection(servers);
pc.onicecandidate = (event => event.candidate?sendMessage(yourId, JSON.stringify({'ice': event.candidate})):console.log("Sent All Ice") );
pc.onaddstream = (event => friendsVideo.srcObject = event.stream);

function sendMessage(senderId, data) {
    var msg = database.push({ sender: senderId, message: data });
    msg.remove();
}


function readMessage(data) {
    // works
    var msg    = JSON.parse(data.val().message);
    var sender = data.val().sender;

    if (sender != yourId) {

        if (msg.ice != undefined)
            pc.addIceCandidate(new RTCIceCandidate(msg.ice));

        else if (msg.sdp.type == "offer")
            pc.setRemoteDescription(new RTCSessionDescription(msg.sdp))
            .then(() => pc.createAnswer())
            .then(answer => pc.setLocalDescription(answer))
            .then(() => sendMessage(yourId, JSON.stringify({'sdp': pc.localDescription})));

        else if (msg.sdp.type == "answer")
            pc.setRemoteDescription(new RTCSessionDescription(msg.sdp));

    }
};

database.on('child_added', readMessage);

function closeMyFace() {
    yourVideo.srcObject.getTracks().forEach(track => track.stop());
}

function showMyFace() {
    navigator.mediaDevices.getUserMedia({audio:false, video:true}).
    then(function(stream){
        pc.addStream(stream)
        yourVideo.srcObject = stream
    })
    .catch(function(error){
        console.log(error)
    })
}

function showFriendsFace() {
    pc.createOffer()
    .then(offer => pc.setLocalDescription(offer) )
    .then(() => sendMessage(yourId, JSON.stringify({'sdp': pc.localDescription})) );
}

但是，我如何 download/stream 这个视频并分块处理视频，最好是在 Python 脚本中？

Answer 1

如果您打算 download/process 在流式传输视频时，您的 (python) 客户端将需要创建自己的 RTCPeerConnection 以便它也可以接收视频流。我相信这在 python 中并非易事，但在其他平台上可能更容易。更多信息：WebRTC Python implementation

如果您的用例允许您在录制完成后处理视频（或者至少，您的用例在延迟很长的情况下没问题），那么可以让 javascript 客户端按原样上传数据接收或稍后批量接收（来自上例中的 friendsVideo 流），可能以块的形式发送到您的自定义 (python) 客户端随后可以下载和处理的位置。

虽然与 RTCPeerConnection 无关，但您可以在 SO 上搜索其他使用 firebase 播放视频的用户（结果不一）。不过，这与您尝试使用 RTCPeerConnection 所做的有些不同。示例：Firebase Storage Video Streaming

如何在 Python 中处理流式传输到 Firebase 信令服务器的视频

How to process video that is being streamed to a Firebase signaling server in Python

python

html5-video

webrtc

firebase