机械土耳其人

Question

我试图在机械土耳其人上发布一个典型的心理学实验作为HIT.我提出了十几个单词对,我需要随机化/抵消所提出的单词对的顺序.在典型的HTML表单上似乎没有办法做到这一点.有没有办法使用API​​或命令行界面执行此操作？

Answer 1

2016年5月20日更新:转而使用PsiTurk.请参阅@John McDonnel的答案

2013年6月25日更新:这个答案已经过时了.请参阅Solomon Messing关于MTurk社会科学的博客文章的起点.

鉴于AMT上开始出现的心理研究数量,您认为他们会将此作为选项添加!

据我所知,在没有以下情况下,您无法使用Web界面执行此操作:

1. 创建一组模板(表单A,表单B,表单C,表单D).
2. 运行第一个表单(表单A).
3. 支付工人然后阻止所有工人.
4. 运行第二个表单(表单B).
5. 从第1步和第2步支付工人和阻止所有人.
6. 并重复直到你完成.

由于几个原因,这很糟糕.首先,您必须手动创建不同的表单.第二个问题是,通过阻止正在做好工作的工人,你会对他们在网站上的声誉产生负面影响.您的IRB不太可能对此表示友善.

解决此问题的"最佳"方法是不使用Web界面,而是使用命令行工具(CLT)创建ExternalQuestions.这样,你编写了一个可以处理随机化细节的webapp,在不依赖资格的情况下给予工人知情同意,并"礼貌地阻止"已经完成工作的工人.(已经参加过的工作人员会收到一条短信,要求他们退回HIT.)

如果你有兴趣走这条路,我的博客上有一些关于我是如何做到这一点的细节.