无法阻止 Mechanical Turk 上的作弊者

Can't block cheaters on Mechanical Turk

最近我进行了 运行 三项研究,在这些研究中,MTurk 工人听了几句外国语言,然后输入听起来像他们听到的无意义音节。前两次,有工人半心半意地作弊,懒得听演讲,也懒得打“呜呜呜”之类的字眼。这一次,一些工人通过使用语音识别软件(糟糕地)转录语音来跳过听力。更复杂,但仍然作弊。 (这项研究衡量了人类在这方面比计算机好多少。)

当我点击一个作弊者的名字,然后点击 "block this worker," 时,网页提示这会将目前给予他们的所有 HIT 重新分配给其他工人,并且该工人将无法再提交命中。但两者都没有发生。

如何阻止作弊者继续用虚假 HIT 污染我的数据?

Amazon 解释为什么被阻止的工人(有时)仍然提交 HIT 的释义:

当您阻止工人时,他们仍然可以提交他们之前接受的任何 HIT,因为我们无法从工人中删除 HIT。但是,他们不能接受任何新的 HIT。

当您阻止某个工人时,您可以拒绝他们提交的作业,并且可以将这些作业重新发布给其他工人。但这不适用于 他们已接受但未提交的作业。