mechanicalturk - trabajar - taxes mechanical turk

Ejecutar MTurk HIT en un sitio web externo

Question

Estoy implementando un sitio web en el cual los trabajadores reclutados de MTurk realizarán tareas. Planeo reclutar trabajadores usando tareas de MTurk, con lo cual los redireccionaré a un sitio web externo para el trabajo real. Tengo las siguientes preguntas relacionadas con este plan.

1. ¿Hay algún problema previsible con este enfoque de ejecutar HIT? Si es así, ¿cómo podemos mitigarlos?

2. ¿Cómo debo implementar el procedimiento de autenticación en mi sitio externo? Por ejemplo, ¿cómo puedo asegurarme de que las personas que visitan el sitio web para realizar una tarea específica sean el mismo grupo de personas reclutado anteriormente para esta tarea en particular en MTurk?

3. cuando los trabajadores terminen la tarea, ¿cómo debería integrar el procedimiento de pago con MTurk en función de su rendimiento? Por ejemplo, digamos que a trabajador se le debe $ 3 después de terminar la tarea en mi sitio externo, ¿es posible que le diga a MTurk que le pague esta cantidad programáticamente?

El sitio externo se construirá usando Python, si tal detalle importa.

¡Cualquier sugerencia y comentario basado en sus experiencias y conocimientos sobre el uso de MTurk sería muy apreciado!

Answer 1

Estoy pensando en esto para un proyecto mío similar. He experimentado como un trabajador yo mismo. Este es mi plan, espero que te sea útil. (No lo he implementado todavía. Se basa en un HIT académico en el que participé como trabajador.) Aquí va:

A. Cree una plantilla que tenga un lenguaje algo así como:

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B. Cree algunos tokens aleatorios para su archivo de datos de Mechnical Turk:

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(Genere estos tokens desde su aplicación, necesita referencias cruzadas).

C. Su aplicación extrae el token de la URL, busca la tarea y hace lo que necesita hacer. Personalmente, no me preocupo porque la gente tropiece con una URL, ya que es una ficha de uso de una sola vez.

D. Después de que un usuario completa la tarea en el sitio web externo, la aplicación externa proporciona un código de confirmación. El código de confirmación debe ser aleatorio y opaco. Solo su aplicación sabrá si algún código en particular corresponde a una respuesta correcta o incorrecta. De hecho, si lo desea, es posible que la corrección ni siquiera se determine en tiempo real; podría ser el resultado de una agregación y / o comparación entre múltiples envíos.

E. Escribe un código para interactuar programáticamente. Tome el token y el código de confirmación proporcionados por el resultado de MTurk y asegúrese de que coincidan con su aplicación externa. Si no coinciden, rechace el HIT. Si coinciden, verifique la corrección en su aplicación externa y apruebe o rechace. Puede considerar una estructura de pago de bonificación.

Por lo tanto, para responder a sus preguntas particulares:

1. No anticipo problemas con el enfoque que describí. Dicho esto, Mechanical Turk es tanto un arte como una ciencia. Quizás más arte. Escribir buenas preguntas y pagar a los Turkers de manera apropiada es algo que tienes que resolver con una combinación de sentido común, investigación de mercado y experimentación.

2. Ver (C) arriba. Un token está diseñado para usarse solo una vez. Use los tokens lo suficientemente largos y la probabilidad de colisión se vuelve muy baja.

3. Ver (E) arriba. La Guía para desarrolladores de Mechanical Turk es un buen lugar para comenzar.

Por favor comparta sus resultados. O haga que los Turkers envíen a StackOverflow cientos de tarjetas postales. :)

Notas:

• Actualmente estoy explorando pruebas de calificación. Sospecho que pueden ser muy útiles.

• Quiero obtener una ID de Turker''s Worker en mi aplicación externa, pero aún no me he dado cuenta de esa parte. Estoy leyendo sobre eso; por ejemplo: Getting workerId by assignmentId

• Estoy pensando en utilizar la función de Pregunta ExternalQuestion de la API: "... puede alojar las preguntas en su propio sitio web utilizando una pregunta" externa "... Un golpe con una pregunta externa muestra una página web desde su sitio web en un marco en el navegador web del trabajador. Su página web muestra un formulario para que el trabajador complete y envíe. El trabajador envía los resultados usando su formulario, y su formulario envía los resultados a Mechanical Turk. La forma le da al sitio web el control sobre cómo aparece la pregunta y cómo se recopilan las respuestas ".

Answer 2

También puede encontrar que PsiTurk es útil: "PsiTurk es una plataforma abierta para llevar a cabo experimentos de comportamiento personalizados en Mechanical Turk de Amazon ... Tiene la intención de proporcionar la mayor parte de la maquinaria de back-end necesaria para ejecutar su experimento. Utiliza la pregunta externa de AMT HIT Escriba, lo que significa que puede recopilar datos utilizando cualquier sitio web. Mientras pueda convertir su experimento en un sitio web, ¡puede ejecutarlo con PsiTurk! "