Primero fue Brexit , ahora las elecciones estadounidenses. Muchas predicciones de modelos se cumplieron por un amplio margen, y ¿hay lecciones que aprender aquí? Hasta las 4 pm PST de ayer, los mercados de apuestas seguían favoreciendo a Hillary 4 a 1.
Supongo que los mercados de apuestas, con dinero real en la línea, deberían actuar como un conjunto de todos los modelos de predicción disponibles. Por lo tanto, no es descabellado decir que estos modelos no hicieron un muy buen trabajo.
Vi una explicación: los votantes no estaban dispuestos a identificarse como partidarios de Trump. ¿Cómo podría un modelo incorporar efectos como ese?
Una explicación macro que leí es el surgimiento del populismo . La pregunta entonces es ¿cómo podría un modelo estadístico capturar una tendencia macro como esa?
¿Están estos modelos de predicción por ahí poniendo demasiado peso en los datos de las encuestas y el sentimiento, no lo suficiente desde el punto de vista del país en una visión de 100 años? Estoy citando los comentarios de un amigo.
fuente
Respuestas:
En resumen, el sondeo no siempre es fácil. Esta elección puede haber sido la más difícil.
Cada vez que intentamos hacer inferencia estadística, una pregunta fundamental es si nuestra muestra es una buena representación de la población de interés. Una suposición típica que se requiere para muchos tipos de inferencia estadística es que nuestra muestra sea una muestra completamente aleatoria de la población de interés (y, a menudo, también necesitamos muestras para ser independientes). Si estas suposiciones son ciertas, generalmente tenemos buenas medidas de nuestra incertidumbre basadas en la teoría estadística.
¡Pero definitivamente no tenemos estos supuestos válidos para las encuestas! Tenemos exactamente 0 muestras de nuestra población de interés: votos reales emitidos en el día de las elecciones. En este caso, no podemos hacer ningún tipo de inferencia válida sin más suposiciones no comprobables sobre los datos. O al menos, no comprobable hasta después del día de las elecciones.
¿Nos rendimos por completo y decimos "50% -50%"? Típicamente no. Podemos intentar hacer lo que creemos que son suposiciones razonables sobre cómo se emitirán los votos. Por ejemplo, tal vez queremos creer que las encuestas son estimaciones imparciales para los votos del día de las elecciones, además de cierto ruido temporal imparcial (es decir, la evolución de la opinión pública a medida que pasa el tiempo). No soy un experto en métodos de votación, pero creo que este es el tipo de modelo que usa el 538. Y en 2012, funcionó bastante bien. Entonces, esas suposiciones probablemente eran bastante razonables. Desafortunadamente, no hay una forma real de evaluar esos supuestos, fuera del razonamiento estrictamente cualitativo. Para más discusión sobre un tema similar, vea el tema de la falta de ignorancia.
Mi teoría de por qué las encuestas tuvieron tan mal desempeño en 2016: las encuestas no eran estimaciones imparciales del comportamiento del día de los votantes. Es decir, supongo que los partidarios de Trump (y probablemente también los partidarios del Brexit) desconfiaron mucho más de los encuestadores. Recuerde que el Sr. Trump denunció activamente las encuestas. Como tal, creo que los partidarios de Trump tenían menos probabilidades de informar sus intenciones de voto a los encuestadores que los partidarios de sus oponentes. Supondría que esto causó un sesgo imprevisto en las encuestas.
¿Cómo podrían los analistas haber tenido esto en cuenta al utilizar los datos de la encuesta? Basándose solo en los datos de la encuesta, no hay una forma real de hacer esto de forma cuantitativa. Los datos de la encuesta no le dicen nada sobre aquellos que no participaron. Sin embargo, uno puede mejorar las encuestas de manera cualitativa, eligiendo suposiciones más razonables (pero no comprobables) sobre la relación entre los datos de las encuestas y el comportamiento del día de las elecciones. Esto no es trivial y la parte verdaderamente difícil de ser un buen encuestador (nota: no soy un encuestador). También tenga en cuenta que los resultados también fueron muy sorprendentes para los expertos, por lo que no es que haya signos obvios de que las suposiciones estaban descabelladas esta vez.
La votación puede ser difícil.
fuente
Hay varias fuentes de error de sondeo:
Encuentras a algunas personas difíciles de alcanzar
Esto se corrige haciendo un análisis demográfico y luego corrigiendo su sesgo de muestreo. Si su análisis demográfico no refleja las cosas que hacen que las personas sean difíciles de alcanzar, esta corrección no repara el daño.
La gente miente
Puede usar tasas históricas a las que las personas mienten a los encuestadores para influir en su modelo. Como ejemplo, históricamente las personas afirman que van a votar a terceros mucho más de lo que realmente hacen el día de las elecciones. Sus correcciones pueden estar equivocadas aquí.
Estas mentiras también pueden arruinar tus otras correcciones; Si mienten sobre votar en las últimas elecciones, pueden ser contados como un votante probable, incluso si no lo son, por ejemplo.
Solo las personas que votan terminan contando
Alguien puede tener mucho apoyo, pero si sus seguidores no se presentan el día de las elecciones, no cuenta. Es por eso que tenemos modelos de votantes registrados, votantes probables, etc. Si estos modelos están mal, las cosas no funcionan.
Las encuestas cuestan dinero
Hacer encuestas es costoso, y si no espera (digamos) que Michigan se voltee, es posible que no lo haga con mucha frecuencia. Esto puede llevar a la sorpresa de que un estado que encuestó 3 semanas antes de las elecciones no se parece en nada el día de las elecciones.
La gente cambia de opinión
En minutos, horas, días, semanas o meses, las personas cambian de opinión. Las encuestas sobre "lo que harías ahora" no ayudan mucho si cambian de opinión antes de que cuente. Hay modelos que adivinan aproximadamente la velocidad a la que las personas cambian de opinión en base a encuestas históricas.
Pastoreo
Si todos los demás afirman que Hillary es +3 y obtienes una encuesta que muestra a Hillary +11 o Donald +1, puedes cuestionarlo. Puede hacer otra pasada y ver si hay un error de análisis. Incluso podría tirarlo y hacer otra encuesta. Cuando obtienes una encuesta de Hillary +2 o +4, es posible que no lo hagas. Los valores atípicos masivos, incluso si el modelo estadístico dice que sucede a veces, pueden hacer que se "vea mal".
Una forma particularmente desagradable de esto sucedió el día de las elecciones, donde todos los que lanzaron una encuesta convergieron mágicamente al mismo valor; probablemente fueron encuestas atípicas, pero nadie quiere ser el que dijo (digamos) Hillary +11 el día antes de estas elecciones. Estar equivocado en una manada te lastima menos.
Error de muestreo esperado
Si tiene 1 millón de personas y pregunta a 100 personas perfectamente aleatorias y la mitad dice "Apple" y la otra mitad dice "Naranja", el error esperado que obtendría de la muestra es +/- 10 más o menos, incluso si ninguno de los problemas anteriores ocurrir. Este último bit es lo que las encuestas describen como su margen de error. Las encuestas rara vez describen lo que los factores de corrección anteriores podrían introducir como error.
Nate Silver en 538 fue uno de los pocos agregadores de encuestas que utilizaron medios conservadores (cautelosos) para manejar la posibilidad de los tipos de errores anteriores. Tuvo en cuenta la posibilidad de errores sistémicos correlacionados en los modelos de encuestas.
Mientras que otros agregadores pronosticaban una probabilidad de más del 90% de HC, Nate Silver declaraba un 70%, porque las encuestas estaban dentro del "error de votación normal" de una victoria de Donald.
Esta fue una medida histórica del error del modelo , en oposición al error de muestreo estadístico sin procesar; ¿Qué pasa si el modelo y las correcciones al modelo estaban equivocados?
La gente todavía está crujiendo los números. Pero, los resultados preliminares indican que una gran parte fueron modelos de participación. Los partidarios de Donald aparecieron en las encuestas en mayor número, y los partidarios de Hillary en menores números que los modelos de encuestas (¡y las encuestas de salida!) Indicaron.
Los latinos votaron más por Donald de lo esperado. Los negros votaron más por Donald de lo esperado. (La mayoría de ambos votaron por Hillary). Las mujeres blancas votaron más por Donald de lo esperado (más de ellas votaron por Donald que Hillary, lo que no se esperaba).
La participación electoral fue baja en general. Los demócratas tienden a ganar cuando hay una alta participación de votantes, y los republicanos cuando hay poca.
fuente
Esto se mencionó en los comentarios sobre la respuesta aceptada (hat-tip a Mehrdad ), pero creo que debe enfatizarse. 538 realmente hizo esto bastante bien este ciclo * .
538 es un agregador de encuestas que ejecuta modelos contra cada estado para tratar de predecir el ganador. Su carrera final le dio a Trump un 30% de posibilidades de ganar. Eso significa que si usted realizó tres elecciones con datos como este, esperaría que el Equipo Rojo gane una de ellas. Esa no es realmente una pequeña oportunidad. Ciertamente, es lo suficientemente grande como para tomar precauciones (por ejemplo: el viernes antes de pedir el miércoles 9 en el trabajo, considerando la probabilidad de que esté lo suficientemente cerca como para llegar tarde en la noche).
Una cosa que 538 te dirá si pasas el rato allí es que si las encuestas están apagadas, hay una buena posibilidad de que todos estén en la misma dirección. Esto es por un par de razones.
* - 538 ha publicado su propio análisis . Principalmente concuerda con lo que se dijo anteriormente, pero vale la pena leerlo si quieres muchos más detalles.
Ahora un poco de especulación personal. En realidad, era escéptico sobre el% de posibilidades finales de 538 para sus últimos 3 días. La razón se remonta a la segunda viñeta anterior. Echemos un vistazo a la historia de su modelo para esta elección (desde su sitio web)
(Lamentablemente, las etiquetas lo ocultan, pero después de esto las curvas divergieron nuevamente durante los últimos tres días, con una probabilidad de más del 70% para Clinton)
El patrón que vemos aquí es una divergencia repetida seguida de una decadencia hacia una ventaja de Trump. Las burbujas de Clinton fueron causadas por eventos. El primero fueron las convenciones (normalmente hay un par de días de retraso después de un evento para que comience a aparecer en las encuestas). El segundo parece haber sido iniciado por el primer debate, probablemente ayudado por la cinta TMZ. Luego está el tercer punto de inflexión que he marcado en la imagen.
Sucedió el 5 de noviembre, 3 días antes de las elecciones. ¿Qué evento causó esto? Un par de días antes hubo otro ataque de correo electrónico, pero eso no debería haber funcionado a favor de Clinton.
La mejor explicación que se me ocurrió en ese momento fue el pastoreo de encuestas. Solo faltaban 3 días para las elecciones, 2 días para las encuestas finales, y los encuestadores comenzarían a preocuparse por sus resultados finales. La "sabiduría convencional" de toda esta elección (como lo demuestran los modelos de apuestas) fue una victoria fácil de Clinton. Así que parecía una clara posibilidad de que esto no fuera una verdadera inflexión en absoluto. Si ese fuera el caso, la verdadera curva del 5 de noviembre en adelante era muy probable una continuación de esta hacia la convergencia.
Se necesitaría un mejor matemático que yo para estimar la curva hacia adelante aquí sin este punto de inflexión final sospechoso, pero al mirarlo creo que el 8 de noviembre habría estado cerca del punto de cruce . Delante o detrás depende de cuánto de esa curva era realmente real.
Ahora no puedo decir con certeza que esto es lo que sucedió. Hay otras explicaciones muy plausibles (por ejemplo: Trump sacó a sus votantes mucho mejor de lo que cualquier encuestador esperaba). Pero era mi teoría de lo que estaba sucediendo en ese momento, y ciertamente resultó predictiva.
fuente
Realmente no es el primero, por ejemplo, las elecciones presidenciales francesas de 2002 "llevaron a discusiones serias sobre las técnicas de votación".
Basura dentro basura fuera.
Ver sesgo de respuesta , y en particular sesgo de deseabilidad social . Otras lecturas interesantes: mayoría silenciosa y efecto Bradley .
fuente
La encuesta de USC / LA Times tiene algunas cifras precisas. Predijeron que Trump estaría a la cabeza. Vea La encuesta de USC / LA Times vio lo que otras encuestas se perdieron: una ola de apoyo de Trump
http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html
Tenían números precisos para 2012 también.
Es posible que desee revisar: http://graphics.latimes.com/usc-presidential-poll-dashboard/
Y NY Times se quejó de su ponderación: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html
Respuesta de LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html
fuente
No hay terreno elevado reclamado aquí. Trabajo en un campo (Monitoreo y Evaluación) que está tan plagado de pseudociencia como cualquier otra ciencia social que puedas nombrar.
Pero aquí está el trato, la industria de las encuestas está supuestamente en "crisis" hoy porque tiene las predicciones electorales de Estados Unidos tan equivocadas, que las ciencias sociales en general tienen una "crisis" replicable y a fines de la década de 2000 tuvimos una "crisis" financiera mundial porque Algunos profesionales creían que los derivados de hipotecas de alto riesgo eran una forma válida de datos financieros (si les damos el beneficio de la duda ...).
Y todos nos equivocamos independientemente. Todos los días veo las construcciones de los investigadores más cuestionables utilizadas como enfoques de recopilación de datos y, por lo tanto, eventualmente utilizadas como datos (todo, desde escalas cuasi-ordinales hasta categorías de respuesta fija totalmente líderes). Muy pocos investigadores parecen darse cuenta de que necesitan tener un marco conceptual para tales construcciones antes de que puedan esperar comprender sus resultados. Es como si hubiéramos analizado los enfoques de 'investigación' de mercado y decidido adoptar solo el peor de sus errores, con la adición de una pequeña numerología al lado.
Queremos ser considerados 'científicos', pero el rigor es demasiado difícil de molestar, por lo que recopilamos datos de basura y rezamos al dios de las estadísticas como Loki para que mágicamente anule el axioma de GIGO.
Pero como señala fuertemente el Sr. Feynman:
“No importa cuán bella sea tu teoría, no importa cuán inteligente seas. Si no está de acuerdo con el experimento, está mal ”.
Hay mejores formas de manejar los datos cualitativos con los que a menudo estamos atascados, pero requieren un poco más de trabajo y esas buenas construcciones de investigadores a menudo son mucho más fáciles de alimentar en SPSS. La conveniencia parece triunfar sobre la ciencia cada vez (sin juego de palabras).
En resumen, si no comenzamos a tomarnos en serio la calidad de los datos sin procesar, creo que solo estamos desperdiciando el tiempo y el dinero de todos, incluido el nuestro. Entonces, ¿alguien quiere colaborar en una 'iniciativa de calidad de datos' en relación con los métodos de las ciencias sociales (sí, hay mucho en los libros de texto sobre tales cosas, pero nadie parece prestar atención a esa fuente después de sus exámenes)
¡Quien tenga la mayor seriedad académica será el líder! (No seré yo)
Solo para ser claro acerca de mi respuesta aquí: veo problemas fundamentales serios con los tipos de datos brutos 'artificiales' tan a menudo, que me gustaría sugerir la necesidad de comenzar desde el principio. Por lo tanto, incluso antes de preocuparnos por el muestreo o qué pruebas ejecutar en los datos, debemos analizar la validez / limitaciones de los tipos de datos que recopilamos en relación con los modelos que proponemos. De lo contrario, el modelo predictivo general está incompletamente definido.
fuente
Las encuestas tienden a tener un margen de error del 5% del que realmente no puede deshacerse, porque no es un error aleatorio, sino un sesgo. Incluso si promedia en muchas encuestas, no mejora mucho. Esto tiene que ver con grupos de votantes mal representados, falta de movilización, incapacidad para ir a votar en un día laboral, falta de voluntad para responder, falta de respuesta correcta , decisiones espontáneas de último minuto, ... porque este sesgo tiende a estar "correlacionado" en todas las encuestas, no puedes deshacerte de él con más encuestas; tampoco puede deshacerse de él con muestras de mayor tamaño; y tampoco parece ser capaz de predecir este sesgo, porque cambia demasiado rápido (y elegimos presidentes muy raramente).
Debido al estúpido principio del ganador se lleva todo en casi todos los estados, un error del 5% puede causar resultados muy diferentes: suponga que las encuestas siempre predijeron 49-51, pero el resultado real fue 51-49 (entonces un error de solo 2%), el resultado es 100% de descuento; por el ganador se lo lleva todo.
Si observa estados individuales, la mayoría de los resultados se encuentran dentro de los márgenes de error previstos.
Probablemente lo mejor que puede hacer es probar este sesgo (+ -5%), aplicar los extremos del ganador se lleva todo y luego agregar los resultados. Esto es probablemente similar a lo que hizo 538; y en el 30% de las muestras que ganó Donald Trump ...
fuente
Al final, expuso un fracaso colosal del análisis numérico para compensar la falta de conocimiento del tema. La gente se avergonzaba de sí misma al abrazar explícitamente al candidato ganador por razones obvias.
El peor modelo de computadora podría haberse acercado al resultado si alguien se hubiera molestado en realizar una encuesta preliminar cara a cara, tocando puertas. Aquí hay un ejemplo: el Grupo Trafalgar (sin afiliación o conocimiento aparte de lo que sigue) tenía a Trump liderando en PA, FL, MI, GA, UT y NV (este último estado finalmente se volvió azul) un día antes de las elecciones. ¿Cuál fue la magia?
Bastante baja tecnología, incluida la falta de corrección ortográfica, que muestra en números mucho sobre la naturaleza humana. Aquí está la discrepancia en PA :
Pensilvania histórica: lejos de ser percibida como la gota que colmó el vaso en la derrota demócrata solo unas horas antes de esta realización de cierre a las 1:40 am del 9 de noviembre de 2016:
fuente
Una de las razones de la escasez de encuestas en las elecciones de Estados Unidos, además de que algunas personas, por cualquier motivo, no dicen la verdad, es que el efecto "el ganador se lo lleva todo" hace que las predicciones sean aún menos fáciles. Una diferencia del 1% en un estado puede conducir a un cambio completo de un estado e influir mucho en el resultado completo. Hillary tenía más votantes como Al Gore vs Bush.
El referéndum sobre el Brexit no fue una elección normal y, por lo tanto, también fue más difícil de predecir (no hay buenos datos históricos y todos fueron como un votante por primera vez en este asunto). Las personas que durante décadas votan por el mismo partido estabilizan las predicciones.
fuente
(Solo respondo esta parte, ya que las otras respuestas parecen haber cubierto todo lo demás).
No ... pero indirectamente sí.
Los mercados de apuestas están diseñados para que los corredores de apuestas obtengan ganancias pase lo que pase. Por ejemplo, digamos que las probabilidades actuales citadas fueron 1-4 en Hilary y 3-1 en Trump. Si las siguientes diez personas apuestan $ 10 en Hilary, entonces los $ 100 que ingresen les costarán $ 25 si Hilary gana. Entonces acortan a Hilary a 1-5 y elevan a Trump a 4-1. Más personas ahora apuestan por Trump y se restablece el equilibrio. Es decir, se basa únicamente en cómo las personas apuestan, no en los expertos o los modelos de predicción.
Pero, por supuesto, los clientes de las casas de apuestas están mirando esas encuestas y escuchando a esos expertos. Escuchan que Hilary tiene un 3% de ventaja, un certificado muerto para ganar, y deciden que una forma rápida de ganar $ 10 es apostar $ 40 en ella.
Indirectamente, los expertos y las encuestas están moviendo las probabilidades.
(Algunas personas también notan que todos sus amigos en el trabajo van a votar a Trump, así que apuesta por él; otros notan que todas las publicaciones de sus amigos de Facebook son pro-Hilary, así que apuesta por ella, por lo que influye un poco la realidad ellos, de esa manera.)
fuente
No es sorprendente que estos esfuerzos fracasaron, si se considera la disparidad entre a qué información tienen acceso los modelos y qué información impulsa el comportamiento en la cabina de votación. Estoy especulando, pero los modelos probablemente tengan en cuenta:
Pero, las encuestas preelectorales no son confiables (hemos visto fallas constantes en el pasado), los estados pueden cambiar, y no ha habido suficientes ciclos electorales en nuestra historia para dar cuenta de la multitud de situaciones que pueden surgir, y lo hacen. .
Otra complicación es la confluencia del voto popular con el colegio electoral. Como vimos en estas elecciones, el voto popular puede ser extremadamente cercano dentro de un estado, pero una vez que se gana el estado, todos los votos van a un candidato, por lo que el mapa tiene tanto rojo.
fuente
Los modelos de votación no consideraron cuántos libertarios podrían cambiar de Johnson a Trump en lo que respecta a la votación real. Los estados que se ganaron por un margen delgado se ganaron según el porcentaje del voto que obtuvo Johnson. PA (que superó a Trump más allá de 270 en la noche de las elecciones) le dio solo el 2% a Johnson. NH (que fue a Clinton) dio 4% + a Johnson. Johnson estaba votando al 4% -5% el día antes de las elecciones y obtuvo aproximadamente el 3% el día de las elecciones.
Entonces, ¿por qué los libertarios, de repente, cambiaron el día de las elecciones? Nadie consideró cuál era el tema central para los votantes libertarios. Tienden a ver la interpretación literal de la Constitución como canon. La mayoría de las personas que votaron por Clinton no pensaron que su desdén por la ley fuera una prioridad lo suficientemente alta como para considerarla. Ciertamente, no más alto que todo lo que no les gustó de Trump.
Independientemente de si sus problemas legales eran importantes o no para los demás, serían importantes para los libertarios. Pondrían una prioridad muy alta en mantener fuera de la oficina a alguien que considerara el cumplimiento legal como opcional, en el mejor de los casos. Entonces, para un gran número de ellos, mantener a Clinton fuera del cargo se convertiría en una prioridad más alta que hacer una declaración de que la filosofía libertaria es una filosofía política viable.
Puede que a muchos de ellos ni siquiera les haya gustado Trump, pero si pensaran que él sería más respetuoso con el estado de derecho que Clinton, el pragmatismo se habría ganado los principios de muchos de ellos y les habría hecho cambiar de voto cuando llegó el momento de votar realmente.
fuente
Las encuestas no son tendencias históricas. Un bayesiano preguntaría sobre las tendencias históricas. Desde Abraham Lincoln, ha habido un partido republicano y un partido demócrata ocupando el cargo presidencial. La tendencia para el cambio de partido 16 veces desde entonces desde Wikipedia tiene la siguiente función de masa acumulativa
Lo que hizo que los periodistas, el partido demócrata y los encuestadores pensaran que las probabilidades estaban a favor de que los liberales ganaran fue quizás una ilusión. El comportamiento puede ser predecible, dentro de los límites, pero en este caso los demócratas deseaban que la gente no votara por un cambio, y desde una perspectiva histórica, parece más probable que haya uno.
fuente
Creo que los resultados de la encuesta se extrapolaron en la medida en que el público asumió que la demografía de los votantes sería similar a la demografía de los encuestados y sería una buena representación de toda la población. Por ejemplo, si 7 de cada 10 minorías apoyaron a Hillary en las encuestas, y si esa minoría representa el 30% de la población de los EE. UU., La mayoría de las encuestas asumieron que el 30% de los votantes estarán representados por esa minoría y se traducirán en esa ganancia del 21% para Hillary En realidad, los varones blancos de clase media a alta estaban mejor representados entre los votantes. Menos del 50% de las personas elegibles votaron y esto no se tradujo en un 50% de descuento en todos los géneros, razas, etc.
O, las encuestas asumieron una aleatorización perfecta y basaron sus modelos en eso, pero en realidad los datos de los votantes estaban sesgados hacia los hombres mayores de clase media a alta.
O, las encuestas no suponían exactamente una aleatorización perfecta, pero sus parámetros de extrapolación subestimaban la heterogeneidad de la demografía de los votantes.
ETA: Las encuestas de las dos elecciones anteriores tuvieron un mejor desempeño debido a una mayor atención a la votación por parte de grupos que generalmente no están bien representados.
fuente
HoraceT y CliffAB (perdón por los comentarios) Me temo que tengo toda una vida de ejemplos, que también me han enseñado que debo tener mucho cuidado con su explicación, si deseo evitar ofender a las personas. Entonces, aunque no quiero tu indulgencia, te pido paciencia. Aquí va:
Para comenzar con un ejemplo extremo, una vez vi una pregunta de encuesta propuesta que pedía a los granjeros analfabetos de las aldeas (Sudeste de Asia) que calculen su "tasa de rendimiento económico". Dejando a un lado las opciones de respuesta por ahora, es de esperar que todos veamos que esto es algo estúpido, pero explicar constantemente por qué es estúpido no es tan fácil. Sí, simplemente podemos decir que es estúpido porque el encuestado no entenderá la pregunta y simplemente la descartará como un problema semántico. Pero esto realmente no es lo suficientemente bueno en un contexto de investigación. El hecho de que esta pregunta haya sido sugerida alguna vez implica que los investigadores tienen una variabilidad inherente a lo que consideran 'estúpido'. Para abordar esto de manera más objetiva, debemos dar un paso atrás y declarar de manera transparente un marco relevante para la toma de decisiones sobre tales cosas. Hay muchas de esas opciones,
Entonces, supongamos de manera transparente que tenemos dos tipos de información básica que podemos usar en los análisis: cualitativa y cuantitativa. Y que los dos están relacionados por un proceso transformador, de modo que toda la información cuantitativa comenzó como información cualitativa pero pasó por los siguientes pasos (simplificados):
Tenga en cuenta que (bajo este modelo) sin el paso 1, no existe una cualidad y si no comienza con el paso 1, nunca podrá generar una cantidad significativa.
Una vez declarado, todo esto parece muy obvio, pero son tales conjuntos de primeros principios que (creo) se pasan por alto con mayor frecuencia y, por lo tanto, resultan en 'Basura'.
Por lo tanto, la 'estupidez' en el ejemplo anterior se vuelve muy claramente definible como un fracaso para establecer una convención común entre el investigador y los encuestados. Por supuesto, este es un ejemplo extremo, pero los errores mucho más sutiles pueden generar la misma basura. Otro ejemplo que he visto es una encuesta a los agricultores en las zonas rurales de Somalia, que preguntaba "¿Cómo ha afectado el cambio climático a sus medios de vida?". Estados Unidos constituiría una grave falla en el uso de una convención común entre el investigador y el encuestado (es decir, lo que se mide como "cambio climático").
Ahora pasemos a las opciones de respuesta. Al permitir a los encuestados auto-codificar respuestas de un conjunto de opciones de opción múltiple o una construcción similar, también está empujando esta cuestión de 'convención' en este aspecto de las preguntas. Esto puede estar bien si todos nos adherimos a convenciones efectivamente 'universales' en las categorías de respuesta (por ejemplo, pregunta: ¿en qué ciudad vive? Categorías de respuesta: lista de todas las ciudades en el área de investigación [más 'no en esta área']). Sin embargo, muchos investigadores parecen estar orgullosos de los sutiles matices de sus preguntas y categorías de respuesta para satisfacer sus necesidades. En la misma encuesta en la que apareció la pregunta de 'tasa de rendimiento económico', el investigador también solicitó a los encuestados (aldeanos pobres) que indicaran a qué sector económico contribuyeron: con categorías de respuesta de 'producción', 'servicio', 'fabricación' y 'comercialización'. Nuevamente, aquí surge un problema de convención cualitativa. Sin embargo, debido a que hizo las respuestas mutuamente excluyentes, de modo que los encuestados solo podían elegir una opción (porque "es más fácil alimentar a SPSS de esa manera"), y los agricultores de las aldeas producen cultivos, venden su trabajo, fabrican artesanías y llevan todo a En los mercados locales, este investigador en particular no solo tenía un problema de convención con sus encuestados, sino que tenía uno con la realidad misma.
Esta es la razón por la cual los viejos aburridos como yo siempre recomendarán el enfoque más intensivo en el trabajo de aplicar la codificación a la recolección posterior de datos, ya que al menos puede capacitar adecuadamente a los codificadores en convenciones controladas por investigadores (y tenga en cuenta que tratar de impartir tales convenciones a los encuestados en ' instrucciones de la encuesta 'es un juego de tazas, solo confía en mí en este por ahora También tenga en cuenta también que si acepta el "modelo de información" anterior (que, una vez más, no estoy afirmando que tenga que hacerlo), también muestra por qué las escalas de respuesta cuasi ordinales tienen una mala reputación. No se trata solo de los problemas matemáticos básicos según la convención de Steven (es decir, debe definir un origen significativo incluso para los ordinales, no puede agregarlos y promediarlos, etc., etc.), también es que a menudo nunca han pasado por ningún proceso transformador declarado de manera transparente y lógicamente consistente que equivaldría a 'cuantificación' (es decir, una versión extendida del modelo utilizado anteriormente que también abarca la generación de 'cantidades ordinales' [-esto no es difícil que hacer]). De todos modos, si no cumple con los requisitos de ser información cualitativa o cuantitativa, entonces el investigador afirma haber descubierto un nuevo tipo de información fuera del marco y, por lo tanto, corresponde a ellos explicar completamente su base conceptual fundamental ( es decir, definir de manera transparente un nuevo marco).
Finalmente, veamos los problemas de muestreo (y creo que esto se alinea con algunas de las otras respuestas que ya están aquí). Por ejemplo, si un investigador desea aplicar una convención de lo que constituye un votante "liberal", debe asegurarse de que la información demográfica que utiliza para elegir su régimen de muestreo sea coherente con esta convención. Este nivel suele ser el más fácil de identificar y manejar, ya que está en gran medida bajo el control del investigador y con mayor frecuencia es el tipo de convención cualitativa asumida que se declara de manera transparente en la investigación. Esta es también la razón por la cual es el nivel generalmente discutido o criticado, mientras que los temas más fundamentales no se abordan.
Entonces, si bien los encuestadores se adhieren a preguntas como "¿por quién planea votar en este momento?", Probablemente todavía estamos bien, pero muchos de ellos quieren ser mucho más "elegantes" que esto ...
fuente