La lógica de exclusión aporta mejores datos: tenemos las pruebas

A los expertos en encuestas nos encanta responderlas. Esto nos ayuda a mantenernos al tanto de las tendencias más recientes y nos da una idea de los aciertos (y errores) que cometen los creadores de encuestas en su diseño.

Uno de los problemas más comunes es que muchas personas no utilizan la lógica de exclusión.

La lógica de exclusión (también conocida como lógica de salto o lógica de omisión) es una función para el diseño de encuestas que te permite enviar a un encuestado a una página o a una pregunta específica posterior en tu encuesta. Esto significa que puedes diseñar encuestas personalizadas en las que los encuestados respondan solo las preguntas que les correspondan.  

Esta podría parecer una función que es bueno tener más no indispensable, cuando la realidad es que no usar la lógica de salto podría poner en riesgo tus datos.

Realizamos un experimento para descubrir si los datos obtenidos a partir de una encuesta con lógica de exclusión son mejores que los que provienen de una encuesta que no usa esta función. Enviamos dos encuestas con las mismas 10 preguntas por medio de SurveyMonkey Audience acerca de nuestro programa de televisión favorito: Juego de tronos.

En una encuesta usamos lógica de exclusión y en la otra usamos otras soluciones más comunes que usan los creadores de encuestas para evitarla. Estos fueron nuestros hallazgos:

¿Qué calificación le darías a ​Juego de tronos​? A primera vista, no parece haber nada de malo con la pregunta. Es sencilla y concisa, pero solo funciona si está en el contexto adecuado. ¿Qué sucede si el encuestado no ha visto el programa?

Errores de este tipo pueden afectar tus datos de manera importante. En la encuesta con lógica de exclusión, el programa recibió una valoración promedio de 4.15 estrellas. Por el contrario, la versión sin lógica de omisión obtuvo un promedio de 2.98 estrellas.

¿Cuál fue la diferencia? En la encuesta con lógica de omisión, primero preguntamos a los encuestados si habían visto el programa y solo a los que respondieron que sí les pedimos que lo calificaran.  

¿Por qué la diferencia fue tan grande? La versión sin lógica de exclusión tuvo un gran número de valoraciones de una estrella, probablemente porque los encuestados que no habían visto el programa no tenían una opción que correspondiera a su caso y esto generó que respondieran de manera frustrada.

Los datos incorrectos derivados de omitir la lógica de exclusión pueden orillar al creador de la encuesta a formular conclusiones equivocadas. En el ejemplo, los datos indican que Juego de tronos es solo un poco popular, cuando en realidad es extremadamente popular.

En ocasiones, las personas idean métodos bastante creativos para evitar usar la lógica de exclusión: ajustan o la pregunta o las opciones de respuesta a fin de adaptarlas a un público más amplio. Estas soluciones no solo carecen de elegancia, sino que además pueden perjudicar los datos que recibas.

Solución n.^o 1: opciones de respuesta alternativas. En el siguiente ejemplo, no usamos lógica de exclusión para ocultar esta pregunta de las personas que ya habían visto Juego de tronos. En lugar de eso, la mostramos a todos los encuestados, con la esperanza de que los que habían visto el programa seleccionaran “Ya he visto ​Juego de tronos antes”.

Esta en apariencia sencilla solución en realidad terminó llevando a muchos de nuestros encuestados en la dirección equivocada. Casi la mitad (el 43 %) de los encuestados eligió un motivo de por qué no habían visto Juego de tronos a pesar de que en una pregunta anterior habían respondido que sí habían visto el programa.

¿Fue un error? ¿O su experiencia se vio frustrada porque la encuesta no registró su respuesta anterior? Es difícil determinarlo, pero estamos seguros de que sus respuestas a esta pregunta no fueron precisas e interfirieron con los datos de las respuestas.

Solución n.^o 2: agregar instrucciones a la pregunta. Otra táctica que se utiliza con frecuencia es agregar instrucciones en las que se pide a los encuestados que excluyan la pregunta si no corresponde a su caso.

En el siguiente ejemplo, los encuestados que no habían visto Juego de tronos recibieron la instrucción de excluir la pregunta.

¿Funcionó? No en realidad. Alrededor de 2 de cada 5 encuestados que antes habían dicho que no habían visto Juego de tronos respondieron la pregunta, por lo que nuestros hallazgos se vieron socavados. Los personajes que más seleccionaron como favoritos coincidieron con los resultados de la encuesta con lógica de exclusión, pero con porcentajes mucho menores, quizás porque los que no vieron el programa probablemente seleccionaron los personajes al azar.

Al final de ambas versiones, preguntamos a los encuestados cómo calificarían la calidad de la encuesta. El porcentaje de encuestados que calificaron la encuesta como “mala” o “regular” fue mucho más alto en la versión sin lógica de exclusión.

Asimismo, el índice de finalización (el porcentaje de encuestados que respondieron toda la encuesta) fue menor en la encuesta que no usó lógica de exclusión. Además, un 14 % menos de encuestados dijeron que estarían dispuestos a responder otra encuesta en el futuro. Esto sugiere que el impacto negativo derivado de no usar la lógica de salto podría afectar a más de una encuesta.

Después de analizar una sencilla encuesta de 10 preguntas, observamos que la lógica de exclusión puede tener una gran influencia. Puede afectar tanto el número como la calidad de las respuestas que recibes e incluso la experiencia de los encuestados.

En vista de nuestros hallazgos, vale la pena que dediques tiempo a configurar la lógica de exclusión, y la pongas a prueba para asegurarte de que funcione de forma correcta. Como recompensa recibirás respuestas más precisas y tus encuestados estarán más felices.

Si tienes dudas sobre cómo usar la lógica de omisión, aquí resolvemos algunas.