将主题视频文件与我们拥有的数据的 csv 文件进行比较的最佳方法是什么?

What is the best way to compare a subjects video file to a csv file of data we have?

我们有一个实验 运行 受试者玩视频游戏,我们记录与游戏玩法相关的各种数据。在玩游戏时,我们对游戏玩法进行屏幕截图。我们捕获的数据之一是他们在游戏过程中按下按钮请求信息。

我们正在尝试了解是否存在与照明、决策点等相关的条件导致按钮被按下。最终目标是建立一个预测模型,在受试者要求之前呈现数据。

我的问题是分析视频与按钮推送信息的最佳方法是什么?我们有带时间戳的 csv 文件,其中包含按钮推送数据和游戏视频。本来我想用 Matlab 来做分析,但我找不到一个很好的例子来说明如何解决这个问题。我的团队中有几个 python 技术娴熟的人,我也可以寻求帮助,但我想看看我是否能理解在分配他们去做之前需要做什么。

感谢任何帮助!

谢谢

我认为你最好咨询专业的数据科学家。不过,我可以想出一种方法来解决您的问题。
因为视频就是数据科学家所说的 非结构化数据 ,您将很难对其进行原始分析。
我会做的是在游戏过程中定义一些关键点(即新关卡的开始或面对新的谜题),围绕该关键点创建一个时间间隔,并根据这些间隔绘制按下按钮的图表。

考虑一组具有 2 个关键点的游戏视频。例如,其中一个视频中的关键点设置在时间 04:13 和 32:00 中。所以视频的时间线应该是这样的。

(Begining) 00:00 --------> 04:13 --------> 32:00 --------> 45:00 (End)

现在为每个关键点定义一个时间间隔,比如 2 分钟,并记录是否在获得的时间间隔内按下按钮。因此,对于第一个关键点,您将有 02:13 直到 06:13。在对每个视频都这样做并将所有获得的数据相加之后,您将得到如下所示的 table:

Time Intervals Time interval for 1 player #Buttons Pushed
Interval No.1 00:00 - 02:13 5
Key Point No.1 02:13 - 06:13 19
Interval No.3 06:13 - 30:00 7
Key Point No.2 30:00 - 34:00 25
Interval No.4 34:00 - 45:00 9

这基本上意味着,例如,7 个人在第 3 个时间间隔内按下了按钮,在上面的例子中(对于那个玩家)大约是时间 06:13 - 30:00.
在对获得的数据集进行小型二进制 class 化后,每个关键点将得到两个 class,按下按钮的数量按下的按钮数量少
现在向您的游戏代码添加一个侦听器并确定玩家何时输入新的 KeyPoint。使用简单的搜索算法找到如果关键点在第一个 class High Number of Buttons Pushed 或第二个 class, 按下的按钮数量少。如果是第一个class,不通过建议按