Estaba mirando una encuesta de WashingtonTimes / ABC, y el desglose de resultados, especialmente por edad, me pareció sorprendente. Así que fui a buscar parcialidad.
Decía: "la encuesta se realizó por teléfono del 11 al 14 de diciembre de 2014, entre una muestra aleatoria de 1,000 adultos. Las entrevistas se realizaron en inglés y español en teléfonos fijos y celulares".
La encuesta no me dio el número de encuestados en cada grupo de edad, y mi primer pensamiento fue ¿qué clase de personas de 18 a 29 años está en casa para contestar el teléfono? OK, incluyen celular, lo que lo hace un poco más justo. Pero aún así, qué tipo de personas de entre 18 y 29 años responden a su teléfono móvil, se les pregunta si quieren realizar una encuesta y dice "sí, claro".
(No me refiero a eso como una pregunta retórica; mi presentimiento es que ciertos grupos son mucho más propensos, por ejemplo, alguien con baja autoestima podría disfrutar el proceso de que un extraño le pida su opinión por teléfono).
Entonces, ¿hay alguna investigación sobre este tema? ¿Una organización interesada en manipular la opinión pública elegiría una encuesta telefónica, encuestas en línea o entrevistas en la calle, si buscaran un sesgo específico?
Respuestas:
Hay un buen estudio de Pew que analiza cuánto han disminuido las tasas de respuesta y también cuáles son los efectos.
http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/
fuente
Sí, existe un sesgo conocido con las encuestas telefónicas en los Estados Unidos: los teléfonos celulares.
Durante mucho tiempo, el estándar de oro de las encuestas telefónicas aleatorias en los EE. UU. Fue la marcación aleatoria de dígitos: las máquinas generaban números de teléfono aleatorios y los encuestadores hacían preguntas a quien contestaba. Suponiendo que todos tuvieran un solo teléfono, la encuesta fue una muestra aleatoria simple de propietarios de teléfonos.
Sin embargo, la llegada de los teléfonos celulares cambió eso: muchas personas, especialmente los jóvenes, no tienen teléfono fijo. Incluso dentro de datos demográficos específicos (grupo de edad, género, raza), estas poblaciones que solo usan teléfonos celulares tienen actitudes políticas distintas de las poblaciones con teléfonos fijos o ambos tipos de teléfonos. Como es ilegal que los marcadores automáticos llamen a teléfonos celulares, esto causa estragos en las encuestas.
Para los encuestadores, esto significa que tienen que usar seres humanos para llamar a todos los teléfonos celulares, lo que obviamente es mucho más costoso. Por lo tanto, los encuestadores deben, a priori , decidir cuántos teléfonos celulares deben llamar para controlar los costos. El número de llamadas de teléfonos celulares debe compararse con el número de llamadas automáticas de línea fija de una manera científicamente sólida, marcando suficientes casas solo para teléfonos celulares, casas solo para líneas fijas y casas con ambos en proporción a su incidencia en la población, todo mientras no excediendo su presupuesto!
El efecto de los teléfonos celulares probablemente no sea la fuente de sesgos potenciales.
Sospecho que los encuestadores que utilizó la encuesta del Washington Times / ABC son muy conscientes de todo esto, ya que la forma de construir una muestra aleatoria a la luz del "efecto del teléfono celular" es prácticamente el tema que todas las encuestas políticas contemporáneas están abordando hoy. Por lo tanto, es probable que los encuestadores hayan tomado medidas para mitigar el "efecto del teléfono celular" en esta encuesta. Sin embargo, quizás los encuestadores tuvieron un mal día y su marcación aleatoria de números de teléfonos celulares no arrojó suficientes respuestas reales.
Si hay sesgo, podrían ser los pesos de muestra.
Otra fuente potencial de sesgo en estas encuestas es la ponderación de la muestra. El objetivo de ponderar muestras es reducir la cantidad de personas que necesita alcanzar en varios (combinaciones de) grupos demográficos atribuyendo diferentes pesos a diferentes segmentos de población. Esto, por supuesto, lleva a la pregunta "¿cómo sabe que ha ponderado la muestra correctamente?" Esta es la razón por la cual algunas empresas encuestadoras tendrán estimaciones que están consistentemente por encima / debajo de las de otras empresas encuestadoras: tienen diferentes métodos para ponderar su muestra, y eso lleva constantemente el resultado en una dirección particular.
Este es un ejemplo de la compensación de sesgo-varianza. Los encuestadores podrían usar una muestra aleatoria pequeña y simple para lograr una estimación de alta varianza. O podrían usar pesos para reducir la varianza de la estimación de la muestra pequeña, pero a costa del sesgo (estadístico).
Los encuestadores (y los estadísticos en general) tienen que lidiar con el equilibrio de sesgo-varianza de una forma u otra. No significa necesariamente que sean malévolos o que intenten manipular al público.
Abundan las explicaciones alternativas.
Hay muchas maneras de estropear una encuesta, accidental o deliberadamente. Reformular una pregunta puede producir diferentes respuestas entre diferentes grupos. El sondeo push, en el que las preguntas se enmarcan para obtener una respuesta particular, es el ejemplo más obvio y nefasto de esto.
Esta pregunta no es enteramente estadística, ya que exige especulación sobre los motivos y métodos de alguna entidad hipotética y malévola. Solo puedo responderlo parcialmente.
Entrevistar a personas en la calle no es realmente aleatorio, y probablemente sea parcial (en el sentido de que tenderá a incluir algunos grupos en mayor proporción que otros).
El objetivo de la marcación de dígitos aleatorios es lograr un estado en el que todos tengan la misma probabilidad de selección. Ir a una esquina y entrevistar a personas no logra esto, porque tenderás a incluir a personas que viven y trabajan cerca. Si va a una calle en Washington, DC, tendrá casi 0 posibilidades de seleccionar una persona que no sea de DC, Maryland o Virginia.
Además, considere a qué calle va. Entrevistar a personas en la calle en, digamos, el vecindario de Cleveland Park en Washington, DC será muy diferente a entrevistar a personas en la calle en Anacostia: estos lugares tienen una composición demográfica muy distinta.
Las encuestas a personas en línea no son realmente aleatorias, pero no está claro si es peor que las encuestas telefónicas.
La población de personas que optan por participar en una encuesta en línea es una población autoseleccionada, no necesariamente muestreada al azar de todos los encuestados potenciales. Los encuestadores tradicionales que tienden a favorecer las encuestas telefónicas son muy escépticos con respecto a las encuestas en línea por este motivo. Sin embargo, las personas como Andrew Gelman están menos seguras de que el resultado final de una encuesta telefónica marcada al azar y una encuesta en línea autoseleccionada es significativamente diferente. Esta es en gran medida un área abierta de investigación.
fuente
¿Una organización interesada en manipular la opinión pública elegiría una encuesta telefónica, encuestas en línea o entrevistas en la calle, si buscaran un sesgo específico?
Todos los métodos de votación pueden estar sesgados, incluidos algunos otros no mencionados en la pregunta.
Para representar en exceso los puntos de vista de los ancianos, elija una encuesta telefónica y "olvide" normalizar los grupos de cuotas por edad, sabiendo que los encuestados más jóvenes estaban mal representados.
Las encuestas de calle sin ningún ajuste de cuota y normalización probablemente serían la forma más fácil de obtener un sesgo. Según Sycorax, simplemente elige tu calle. Las encuestas en horas de trabajo o fuera de ellas también transformarían los resultados. Una vez fui entrevistador callejero. Trabajamos para establecer cuotas estrictas que combinaran el rango de edad, el género y la clase social, pero dentro de esto era consciente de mi propia tendencia a acercarme a las personas dentro de la cuota que me gustaba (personas que se parecían un poco a mí, si quieres) que las personas dentro de la cuota que tenían un atractivo visual menos inmediato. ¡Y no creo que tengan cuotas para los entrevistadores!
Los periódicos sensacionalistas británicos regularmente realizan 'encuestas' de sí / no de auto-selección de sus propios lectores, típicamente sobre una pregunta emotiva, informando los resultados como si fueran una verdadera encuesta representativa de la población, y a menudo con mayor prominencia que la ética adecuada. encuestas realizadas
Como Andy Jones ha comentado, hay formas mucho más fáciles de sesgar una encuesta. Elección de fechas y horas, ajustes de redacción (especialmente en encuestas de Antes y Después), preguntas principales, establecimiento de ánimo directivo antes o preguntas filtrantes, suposiciones reduccionistas, opciones de respuesta restringidas, etc. En Londres, varias secciones del consejo de administración de tráfico, administración de estacionamiento y consulta pública parecen hacer que tales técnicas ocultas sean su especialidad.
Por lo general, si traen restricciones de tráfico, consultarán solo a los residentes dentro de un área estrecha y cercana, y a los conductores en absoluto. Los residentes recibirán una tarjeta de casillero a través de su puerta, o tal vez dos tarjetas en una propiedad grande y antigua que se divide en cinco o siete pisos separados.
Una forma verdaderamente inigualable de sesgo de la encuesta, aunque no forma parte del proceso de votación en sí, es llevarlo a cabo de cualquier manera (por ejemplo, perfectamente) y luego simplemente suprimir los resultados si no convienen. Una asociación de residentes para un área en la que viví, controlada con mano de hierro por un funcionario sindical muy manipulador, hizo precisamente eso.
Finalmente, en 2004, al regresar de unas vacaciones en el aeropuerto de Stansted, me encontré con una "puerta" que constaba de una pared doble de perspex y un detector de movimiento. Se invitó a los pasajeros a caminar a través de esta puerta opcional si querían que los Juegos Olímpicos ocurrieran en Londres. Una minoría considerable de la opinión pública en ese momento no estaba entusiasmada por recibir una factura masiva por un evento de vanidad, recordando la carga fiscal griega y la corrupción en Utah, y el equipo de Londres Back the Bid estaba tratando de conseguir apoyo.
Podrías atravesar la puerta tantas veces como quisieras para registrar un "voto" (así se llamaba) cada vez para los Juegos Olímpicos, para el deleite de las familias con niños pequeños. Por desgracia, se olvidaron de proporcionar una segunda puerta para las personas que no querían una gran factura durante 30 años, o para personas como yo que pensaban que París era digna del evento.
Por extraño que parezca, el resultado al estilo soviético fue que el 100% de los británicos querían los Juegos Olímpicos. Seguiré pagándolos por mucho tiempo hasta mi jubilación. Cosas prácticas, encuestas.
fuente