Intervalos de confianza frente al tamaño de la muestra?

Soy totalmente nuevo en las estadísticas y el campo de los intervalos de confianza. Entonces esto puede ser muy trivial o incluso sonar estúpido. Le agradecería si pudiera ayudarme a comprender o señalarme alguna literatura / texto / blog que explique esto mejor.

Veo en varios sitios de noticias como CNN, Fox News, Politico, etc. sobre sus encuestas sobre la carrera presidencial de los Estados Unidos 2012. Cada agencia realiza algunas encuestas e informa algunas estadísticas de la forma:

CNN: La popularidad de Obama es X% con margen de error +/- x1%. Tamaño de muestra 600. FOX: La popularidad de Obama es Y% con margen de error +/- y1%. Tamaño de muestra 800. XYZ: La popularidad de Obama es Z% con margen de error +/- z1%. Tamaño de muestra 300.

Aquí están mis dudas:

1. ¿Cómo decido en quién confiar? ¿Debería basarse en el intervalo de confianza, o debería suponer que dado que Fox tiene un tamaño de muestra mayor, su estimación es más confiable? ¿Existe una relación implícita entre los valores de confianza y el tamaño de la muestra de modo que al especificar uno obvia la necesidad de especificar el otro?

2. ¿Puedo determinar la desviación estándar de los intervalos de confianza? Si es así, ¿es válido siempre o solo para ciertas distribuciones (como Gauss)?

3. ¿Hay alguna manera de "fusionar" o "combinar" las tres estimaciones anteriores y obtener mi propia estimación junto con los intervalos de confianza? ¿Qué tamaño de muestra debo reclamar en ese caso?

He mencionado CNN / Fox solo para explicar mejor mi ejemplo. No tengo intención de iniciar un debate entre demócratas y republicanos aquí.

Por favor, ayúdame a comprender los problemas que he planteado.

Además de la excelente respuesta de Peter, aquí hay algunas respuestas a sus preguntas específicas:

1. En quién confiar dependerá también de quién está haciendo la encuesta y qué esfuerzo ponen para obtener una encuesta de buena calidad. Un tamaño de muestra más grande no es mejor si la muestra no es representativa, realizando una encuesta enorme, pero solo en un estado no oscilante no daría muy buenos resultados.

   Existe una relación entre el tamaño de la muestra y el ancho del intervalo de confianza, pero otras cosas también influyen en el ancho, como qué tan cerca está el porcentaje de 0, 1 o 0.5; qué ajustes de sesgo se utilizaron, cómo se tomó la muestra (agrupamiento, estratificación, etc.). La regla general es que el ancho del intervalo de confianza será proporcional a , por lo que para reducir a la mitad el intervalo necesita 4 veces el tamaño de la muestra.$\frac{1}{\sqrt{n}}$

2. Si sabe lo suficiente sobre cómo se recolectó la muestra y qué fórmula se usó para calcular el intervalo, entonces podría resolver la desviación estándar (también necesita saber el nivel de confianza que se usa, generalmente 0.05). Pero la fórmula es diferente para las muestras estratificadas frente a las agrupadas. Además, la mayoría de las encuestas analizan los porcentajes, por lo que utilizarían la distribución binomial.

3. Hay formas de combinar la información, pero generalmente necesitaría saber algo sobre cómo se recolectaron las muestras, o estar dispuesto a hacer alguna forma de suposición sobre cómo se construyeron los intervalos. Un enfoque bayesiano es unidireccional.

Este es un tema enorme, pero básicamente hay dos problemas:

1) Precisión: esto está determinado por el tamaño de la muestra. Las muestras más grandes dan estimaciones más precisas con un error estándar más bajo e intervalos de confianza más estrictos

2) Sesgo, que, en estadística, no necesariamente tiene las connotaciones negativas que tiene en otros lugares. En las encuestas, intentan obtener una muestra aleatoria de XXXX (a veces votantes probables, a veces votantes registrados). Pero no lo hacen. Algunas encuestas solo usan líneas terrestres. Los diferentes grupos de personas tienen más o menos probabilidades de responder. Los diferentes grupos tienen más o menos probabilidades de simplemente colgar.

Entonces, todos los encuestadores ponderan sus respuestas. Es decir, intentan ajustar sus resultados para que coincidan con los hechos conocidos sobre los votantes. Pero todos lo hacen un poco diferente. Entonces, incluso con los mismos datos de entrada de sondeo, darán números diferentes.

¿En quién confiar? Bueno, si nos fijamos en el trabajo de Nate Silver en 538, él tiene calificaciones de cuán precisos eran los encuestadores en elecciones anteriores. Pero eso no significa que sean igualmente precisos ahora.

Esto cae en el área de muestreo de encuestas. En principio, los métodos funcionan porque se utiliza la aleatorización. Aquí están las cosas que pueden diferir en las encuestas basadas en decisiones subjetivas.

1. Marco de muestreo. ¿De qué grupo de votantes debo extraer mi muestra?

2. ¿Cómo manejo la volatilidad del votante indeciso que puede cambiar su opinión sobre Obama vs Romney según la encuesta de ayer o las próximas semanas?

3. Peter ha tocado el sesgo. La encuesta de resumen literario de 1936 fue un desastre. Escogió al candidato republicano sobre el FDR porque el marco de muestreo se basó en una selección aleatoria de números de teléfono. En 1936, solo la clase media alta y los ricos tenían teléfonos. Ese grupo estaba dominado por republicanos que tienden a votar por el candidato republicano. ¡Roosevelt ganó por un deslizamiento de tierra obteniendo sus votos de los pobres y la clase media que solía ser un grupo de demócratas! Eso ilustra el sesgo debido a la elección sutilmente pobre de un marco de muestreo.

4. Encuesta muestra ofertas con poblaciones finitas. El tamaño de la población es N. Digamos que una muestra aleatoria simple se extrae de esa población y tiene un tamaño n. Por simplicidad, asuma que solo Obama y Romney están corriendo. La proporción de votos que Obama obtendría para este marco de muestreo es un promedio de variables binarias (digamos 1 si el encuestado elige a Obama y 0 para Romney). La varianza de la media muestral para esta variable es [p (1-p) / n] [Nn] / N donde p es la verdadera proporción de población que elegiría a Obama. [Nn] / N es la corrección de población finita. en la mayoría de las encuestas, N es mucho más grande que N y se puede ignorar lo correcto. Mirando p (1-p) / n vemos que la varianza disminuye con n. Entonces, si n es grande, el intervalo de confianza en un nivel de confianza dado será pequeño.

Los encuestadores, otros encuestadores y estadísticos de la Oficina del Censo de EE. UU. Tienen todas estas herramientas estadísticas a su disposición y realizan métodos más complejos y precisos (muestra aleatoria por conglomerados y muestreo aleatorio estratificado para mencionar un par de métodos).

Cuando sus supuestos de modelado son válidos, los métodos funcionan notablemente bien. Las encuestas de salida son un buen ejemplo. El día de las elecciones verá que las redes proyectan con precisión al ganador en casi todos los estados mucho antes de un conteo casi final. Eso es porque la variabilidad del día de preelección se ha ido. Saben históricamente cómo las personas tienden a votar y pueden determinar recintos seleccionados de una manera que evite sesgos. Las redes a veces difieren. Esto puede deberse a una competencia para elegir al ganador antes que a la mentalidad de los demás. En raras ocasiones, también puede deberse a que el voto es extremadamente cercano (por ejemplo, Elección Presidencial 2000 en Florida).

Espero que esto te dé una idea más clara de lo que sucede. Ya no vemos errores graves como "Dewey derrota a Truman" en 1948 o el fiasco de Literary Digest de 1936. Pero las estadísticas no son perfectas y los estadísticos nunca pueden decir que estén seguros.