如何从另一个程序获得图形输出?

How can I get the graphical output from another program?

我正在尝试构建我自己的可以通过浏览器访问的远程桌面。我的第一个想法是构建一个服务器(使用 python 我会使用 flask)并将 OS 的图形输出包含到我的 html 页面中。因为我认为那是 difficult/not 可能的,所以我的下一个计划是只获取我从服务器启动的一个程序的图形输出。

请告诉我如何做到这一点或如何开始这个项目。

这是一项艰巨的任务,但我想这个过程对于原型来说是一个好的开始。

  1. 使用 ffmpeg 捕获显示: Capturing and streaming with ffmpeg while displaying locally

  2. 创建一个路由来查看这个流:

  3. 监听页面上的 click/keyboard 事件并将它们中继回源,使用输入驱动程序应用这些交互