Cómo tratar las respuestas de encuestas ilógicas

He enviado una encuesta a una muestra de artistas. Una de las preguntas era indicar el porcentaje de ingresos derivados de: actividad artística, apoyo gubernamental, pensión privada, actividades no relacionadas con las artes. Alrededor del 65% de los individuos respondieron de manera tal que la suma del porcentaje es 100. Los demás no: por ejemplo, hay quienes responden que el 70% de sus ingresos se derivan de sus actividades artísticas y el 60% del gobierno de ingresos. , y así. Mi pregunta es: ¿cómo debo tratar estas observaciones? ¿Debo eliminarlos, modificarlos o conservarlos? ¡Gracias!

Esta es una buena situación para un análisis de sensibilidad. Analice sus datos en cada una de las tres formas:

1. Ya que son
2. Después de excluir "los ilógicos", es decir, las personas cuyos porcentajes no suman 100 (o 100 +/- 10)
3. Después de ajustar donde sea necesario para que los porcentajes de cada persona sumen 100

Luego compare los resultados, compartiendo cualquier justificación que pueda desarrollar sobre qué resultados podrían ser más precisos o más precisos en ciertos aspectos.

También puede investigar la variedad de formas en que las lógicas e ilógicas difieren, si las hay. ¿Los ilógicos tienden a reportar mayores ingresos? ¿Para mostrar un mayor apoyo a ciertas ideas o programas? ¿Para saltear más preguntas? ¿Para mostrar más sesgos en el sentido de la línea recta o la elección desproporcionada de respuestas medias o respuestas extremas?

Con alrededor de 400 o estas ilógicas, tiene suficientes datos incluso para evaluar la relación entre el grado de ilógico y el grado de un tipo de sesgo dado. Algo así como una relación dosis-respuesta.

Lo que aprenda de estas investigaciones podría retroalimentarlo en su plan para lidiar con lo ilógico cuando se trata de los principales análisis de interés.

Como ya se mencionó aquí , esas respuestas no son necesariamente ilógicas. Por ejemplo, tu dices

Los otros no: por ejemplo, hay quienes responden que el 70% de sus ingresos se derivan de sus actividades artísticas y el 60% del gobierno de ingresos, y así sucesivamente.

Eso tiene mucho sentido si el 30% de los ingresos se deriva de actividades artísticas realizadas para el gobierno. Entonces realmente tenemos tres grupos:

• Actividad artística, no relacionada con el gobierno: 40%.
• Gobierno, no relacionado con la actividad artística: 30%.
• Actividad artística subvencionada por el gobierno: 30%.

Esos números suman 100%.

Considere las siguientes preguntas:

• ¿Los cupones para alimentos son actividades gubernamentales o no relacionadas con las artes?
• ¿Es el gobierno de la Seguridad Social o una pensión?
• ¿Es una pensión gubernamental (ex empleado del gobierno) una pensión privada o gubernamental?
• ¿Es una subvención del gobierno para pintar una pintura, actividad artística o gobierno?
• ¿Enseña artes en un gobierno escolar local o actividad o actividades artísticas no relacionadas con las artes?
• Si se jubila de un trabajo en las artes (enseñanza o comercial, por ejemplo, dibujar tarjetas de regalo), ¿la pensión es una actividad privada o artística? ¿O en el caso de la enseñanza, posiblemente del gobierno?

Parece que quiere que estas categorías sean mutuamente excluyentes. Sin embargo, no creo que todos los interpreten de esa manera. Es posible que tenga ideas claras sobre cómo deben clasificarse esas actividades, pero no está claro que sus encuestados tenían las mismas divisiones en mente cuando respondieron. Como mínimo, si desea que los números se sumen al 100%, debe decírselo a la gente.

Personalmente, creo que el mejor enfoque para este tipo de problema es hacer un tipo de grupo focal. En una encuesta tradicional, es posible que no pueda validar las respuestas. Por lo tanto, llame o visite a las personas que serían objetivo de la encuesta y comience una conversación. Luego, cuando den respuestas que no entiendes, pregúntales por qué. Y más allá de eso, pregúnteles cómo debería haber hecho la pregunta para obtener el tipo de resultados que desea. Esto funciona más como un grupo focal en que es interactivo.

Una vez que haya hecho eso, puede tener una mejor idea de cómo manejar las respuestas que no se ajustan a su formato. Por ejemplo, puede tomar el 30% extra y restar la mitad de cada uno. Entonces tendrías 55% de actividad artística y 45% de gobierno. O puede recategorizar como 40% de actividad artística privada, 30% de actividad artística patrocinada por el gobierno y 30% de otro tipo (en este caso, apoyo del gobierno no relacionado con la actividad artística, por ejemplo, cupones de alimentos o alquiler). O deseche la encuesta y vuelva a hacerla, porque las personas no entienden sus categorías correctamente. Parte de esto depende de lo que usted entendió que significan las categorías, así como de cómo lo interpretaron.

Demasiado tarde ahora, pero para futuras encuestas, considere hacer un grupo de enfoque regular antes de la encuesta. Luego puede evaluar sus preguntas en el entorno grupal y mejorarlas. Incluso puede encontrar que recibe preguntas adicionales del grupo. Si es demasiado difícil hacerlo en persona, considere hacerlo en línea. O haga una encuesta de prueba (a un número menor de personas, validando respuestas con preguntas de seguimiento) por teléfono personalmente antes de realizar la encuesta real. Cualquiera de estos puede ayudarlo a aclarar sus preguntas.

Por ejemplo, quizás sus categorías reales deberían haber sido ingresos privados de la actividad artística; actividad artística patrocinada por el gobierno; pensión privada de un trabajo anterior; Otros ingresos no relacionados con la actividad artística. O algo diferente Parte del problema es que no puedo decir lo que quieres, lo que me hace pensar que tus encuestados tampoco. Si hay tres interpretaciones diferentes, es casi como si estuviera mezclando respuestas de tres encuestas diferentes.

No puedo darle una respuesta para el caso general de respuestas ilógicas. Pero para este tipo específico de pregunta: estado allí, hecho eso. No solo en una encuesta, sino también en entrevistas semiestructuradas, donde tuve la oportunidad de observar cómo se les ocurre a las personas este tipo de respuesta. En base a esto, así como a alguna experiencia general en la observación y análisis de procesos cognitivos, sugeriría: normalice sus datos a una suma del 100% . La razón es que las personas parecen ir primero a la categoría más destacada, en su caso, ese sería el ingreso más grande, dar una estimación intuitiva en porcentaje, luego comenzar a pensar en las siguientes categorías más pequeñas y basar su estimación relativa al ancla de la primera categoría, más la de otras categorías ya mencionadas.

Por ejemplo, un tren de pensamiento sería como: "Mi primera fuente de ingresos es ciertamente más de la mitad. ¿Genera qué, 60%? No, eso es demasiado bajo, digamos 65%. El segundo es aproximadamente un tercio de eso , así que sería un poco más del 20%, eh, difícil de calcular en mi cabeza, redondeemos hasta el 25%. El tercero también se siente como un tercio del primero, pero en realidad siempre es un poco más que el segundo, entonces debería ser el 30%, o incluso 35? No, sigamos con 30. Ah, y olvidé que tengo una cuarta fuente, que solo ocurre una vez al año, que debería ser realmente pequeña en comparación con las otras, así que 5 o 10%? Probablemente 5 está más cerca, en realidad no es tanto ". Y entonces terminas con una respuesta de 65 + 25 + 30 + 5 = 125%.

Debido a que las personas tienden a ser más conscientes del tamaño relativo de las partes de ingresos entre sí que de cada parte del total, yo diría que la normalización es correcta aquí, si desea realizar algún tipo de análisis numérico sobre el ingreso . Solo trabajaría con los números reales informados si la diferencia entre las creencias y las declaraciones de las personas sobre sus ingresos y la realidad objetiva es un tema importante para su trabajo, por ejemplo, si es un psicólogo que estudia sesgos cognitivos, o si está más interesado en el autopercepción de los artistas que en sus circunstancias económicas.

Lamentablemente, no tengo una buena fuente de literatura para demostrar que realmente funciona como lo describí, es solo mi observación empírica personal. Pero no creo que los revisores se vean atrapados en este tipo de decisión, ya que, como dicen las otras respuestas, no existe una única forma "correcta" de tratarla. En todo caso, descartarán todos sus datos de esta pregunta como no válidos debido a una técnica de consulta defectuosa. Lo mejor que puede hacer es reconocerlo de manera preventiva y presentar argumentos de por qué su trabajo es útil y por qué las conclusiones que está sacando siguen siendo buenas a pesar de esta fuente específica de inexactitud en los datos.

Si las ciencias sociales me han enseñado algo, es que si le das a la gente la oportunidad de dar respuestas lógicamente inconsistentes, lo harán. Así que tenga la seguridad de que no hay nada inusual en sus temas. Esto es algo a tener en cuenta para diseñar futuras encuestas. Por el momento, puede ser mejor dejar las respuestas tal como están y solo tener en cuenta en sus análisis que las respuestas en realidad no sumarán el 100%, como se podría pensar. En lugar de proporciones verdaderas, tiene señales ruidosas de cuánto ingreso obtiene cada sujeto de cada categoría, así que analícelas de esa manera.

actividad artística, apoyo gubernamental, pensión privada, actividades no relacionadas con las artes

De un vistazo, parece que la "actividad artística" y la "actividad no relacionada con las artes" deberían sumar el 100%.

Por supuesto, "actividad no relacionada con las artes" no es lo mismo que "actividad no relacionada con las artes", ya que puede haber ingresos asociados con ninguna actividad. Pero eso es un corte de cabello que la mayoría de los artistas no notarán.

Si asume que las categorías 1 y 4 deberían sumar hasta el 100%, y reinterpreta a los encuestados en consecuencia, puede encontrar que la mayoría de ellos han incluido las categorías 2 y 3 en la categoría 4.

Sin embargo, todo esto es manipulación de datos que no es ideal. Si desea respuestas estadísticas precisas, debe recopilar datos que sean precisos. Las personas pueden mentir en respuesta a su encuesta, y es difícil evitarlo, pero si las personas que tratan honestamente de responder sus preguntas pueden estar confundidas sobre lo que significa, su encuesta debe reescribirse.

La próxima vez revise la encuesta para que sea comprensible , así como ambigua , antes de enviarla.

Has dado cuatro categorías de ingresos: ¿qué pasa con el ingreso que no está en ninguno de ellos? Por ejemplo, ingresos por dividendos de la tenencia de acciones. No es un ingreso de ninguna forma de actividad, pero tampoco es un apoyo del gobierno o una pensión. Sugeriría que, en ausencia de otra información, considere las respuestas como correctas y atribuya el dinero faltante a fuentes que los encuestados no consideraron cubiertas por las categorías.

En realidad, eso es bastante simple (¡y ni tan ilógico como podría pensar! Supongo que es realmente el tamaño de las proporciones de las diferentes categorías de ingresos que busca al pedir porcentajes. Entonces puedes simplemente renormalizar al 100%. En su ejemplo: si alguien dice: el 70% de mis ingresos proviene de actividades artísticas y el 60% proviene del apoyo del gobierno, esta persona (que probablemente nunca ha recibido capacitación para trabajar con porcentajes) en realidad está diciendo: el pariente o las proporciones de mis ingresos de actividades artísticas y el gobierno son aproximadamente 70 a 60 o 7 a 6 (probablemente sin darse cuenta de que se supone que los porcentajes suman 100 ..). Puede convertir estas declaraciones sobre proporciones en declaraciones sobre porcentajes simplemente renormalizándolas, de la siguiente manera: 70/130 * 100 = 53% de ingresos artísticos, y 60/130 * 100 = 47% de ingresos de apoyo del gobierno.

(Lo que hago aquí es tomar el 130% como un "nuevo" 100% y calcular las proporciones ...)

PD. Esto funciona para todos los casos donde la suma de los porcentajes indicados es desigual a 100

¡Espero que esto ayude!

La mayoría de las respuestas que ya se han dado ya han proporcionado una idea de los defectos metodológicos de la encuesta obvia, por lo que no me detendré en eso aquí. En cambio, proporcionaré algunas opciones prácticas sobre cómo tratar estos datos dado que ya se han recopilado y a pesar de la pregunta defectuosa. Hay algunas formas de manejar esto. Puede considerar marcar respuestas que no cumplan con su definición de "respuestas válidas" al tratar la pregunta completa como faltante y luego seguir cualquier número de prácticas para manejar la no respuesta del ítem como las discutidas aquí .

También puede considerar escalar cada respuesta para que los porcentajes se sumen a 100. Suponiendo que cada respuesta se registre como un porcentaje, esto puede hacerse volviendo a codificar cada respuesta original $y_{{old}_{ij}}$ $(j=1,2,3,4)$ de los 4 subcomponentes a su pregunta (es decir, actividad artística, apoyo gubernamental, pensión privada, actividades no relacionadas con las artes) en una nueva respuesta $y_{{new}_{ij}}$ como sigue:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ So for example, say you had a respondent $i$ who answered as follows:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Then you'd recode as follows:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Note that all the new percentages now add to 100%. Whatever you do, please be sure you make any transformations very clear when reporting your results and I think @rolando2 provided some excellent advice on how to perform some sensitivity analyses to see how transformations like these might affect your conclusions.