使用 OpenCV GStreamer 读取 HLS 流时使用率高 CPU

Question

我有以下代码创建 gstreamer 管道来处理 HLS 流。

cap = cv2.VideoCapture(
    f"souphttpsrc is_live=true location={hls_stream_link} ! hlsdemux ! 
    queue ! decodebin ! videorate ! video/x-raw,framerate=1/1 ! 
    videoconvert ! appsink max-buffers=1 drop=true sync=false",
cv2.CAP_GSTREAMER)

我现在这样读流：

while True:
    success, frame = cap.read()
    time.sleep(1.0)

请注意，我以 1 FPS 的速度读取流并具有属性 max-buffers=1 drop=true sync=false。通过这样做，我总是从缓冲区必须提供的流中获取最新的帧。

问题是 CPU 使用率非常高，在我的 i7 机器上有时会达到 120%。取消睡眠会使情况变得更糟。

关于为什么处理 HLS 流如此 CPU 密集的任何解决方案或想法都会很棒。此外，关于如何减少使用的想法也很棒。

Answer 1

您正在解码完整的流。如果在软件中完成，这可能会非常昂贵。我在这里看到的一个潜在的优化步骤是在解码器之前添加一个 GstPadProbe 并将一位解析到位流中并丢弃所有不是 IDR 的样本。然后你将只发送 IDR 帧到解码器。什么会减少解码器的负载，但是您只会在每个 IDR 帧间隔之后得到一个新帧，这通常是每 2 秒一次（但每个之间可能会有所不同）。

使用 OpenCV GStreamer 读取 HLS 流时使用率高 CPU

High CPU usage while reading an HLS stream using OpenCV GStreamer

python

opencv

gstreamer