Inferencia para el lector escéptico (pero no aversión matemática)

14

Acabo de ver una conferencia sobre inferencia estadística ("comparación de proporciones y medios"), parte de una introducción al curso en línea de estadísticas. El material tenía tan poco sentido para mí como siempre lo hace (a estas alturas debo haber visto estas cosas docenas de veces, distribuidas en las últimas tres décadas).

Estoy buscando un libro sobre "Estadísticas básicas-101" (estimación puntual, evaluación estimada, inferencia estadística, prueba de hipótesis, diseño de estudio) que toma en serio el problema de convencer a un lector escéptico ...

A continuación, doy algunos ejemplos del tipo de pregunta que el autor que estoy buscando tomaría en serio y sabe cómo abordar de manera convincente.

Pero primero déjenme tomarme un minuto para enfatizar que en esta publicación no estoy haciendo estas preguntas. ¡Por favor, no les contestes! Los doy solo como ejemplos, y a modo de "prueba de fuego" (para el tipo de autor de búsqueda).

  1. Si una "proporción" es simplemente la media de una variable booleana (es decir, una que toma solo los valores 0 y 1), ¿por qué se enseñan diferentes procedimientos para hacer inferencia estadística con "proporciones" y con "medias"?

  2. Si la distribución normal es tan robusta que asumir la normalidad da buenos resultados incluso en los casos en que esos datos no están distribuidos de manera normal, y si la distribución t es tan normal, ¿por qué tanto alboroto por usar la distribución t en lugar de ¿normal?

  3. Que exactamente son "grados de libertad" y por qué nos preocupamos por ellos?

  4. ¿Qué significa hablar del valor "verdadero" de un parámetro, considerando que solo estamos usando distribuciones que parecen similares a los datos?

  5. ¿Cómo es que el "análisis exploratorio de datos" es algo bueno, mientras que el "espionaje de datos" es algo malo?

Como he dicho, me desanima el actitud que implica el descuido de tales preguntas. No es la "postura epistemológica" lo que quiero ver en alguien que me está enseñando algo. Estoy buscando autores que respeten el escepticismo y la racionalidad del lector, y que sepan cómo abordarlos (sin necesariamente pasar a páginas y páginas de formalismos y tecnicismos).

Me doy cuenta de que esto es una tarea difícil, y tal vez especialmente cuando se trata de estadísticas. Por lo tanto, no espero que muchos autores lo hayan logrado. Pero en este momento estaría contento con encontrar solo uno .

Permítanme agregar que no soy reacio a las matemáticas. Por el contrario, me encantan las matemáticas. (Me siento cómodo con el análisis [también conocido como "cálculo avanzado"], álgebra lineal, teoría de probabilidad, incluso teoría de medidas básicas).

Dicho esto, mi interés en este momento está en las estadísticas "aplicadas", "prácticas", "cotidianas", "del mundo real" (en oposición a las sutilezas teóricas). (¡Pero tampoco quiero un libro de cocina!)

FWIW, he leído los primeros capítulos del análisis de datos usando regresión y modelos multinivel / jerárquicos de Gelman y Hill, y me gusta el tono de los autores. Su enfoque es práctico, pero entra en la teoría cuando sea necesario. También a menudo dan un paso atrás, y evalúan las prácticas estándar de manera crítica, y ofrecen opiniones sinceras que apelan al sentido común de un lector escéptico. Desafortunadamente, estos autores no han escrito un libro dedicado al tema que estoy preguntando en esta publicación ("Estadísticas 101", como se describe anteriormente). También soy consciente de que uno de estos autores (Gelman) fue coautor del muy apreciado análisis de datos bayesianos. , pero, nuevamente, esto no es lo que estoy buscando en este momento.

EDITAR:

Dikran Marsupial plantea la siguiente objeción:

No creo que haya necesariamente nada malo en descuidar las preguntas, llega un punto en el que abordar cada pregunta resta valor a la exposición de los conceptos básicos, que a menudo es más importante (¡especialmente en un libro de estadísticas 101!).

Estoy de acuerdo con eso. Sería más exacto para mí decir que estoy buscando un "segundo vistazo a las estadísticas básicas". De hecho, con esto como mi motivación, miré los libros de texto utilizados en cursos de posgrado sobre inferencia (por ejemplo), y descubrí que ellos también descuidaban preguntas como las que he enumerado. En todo caso, parecían incluso menos inclinados a profundizar en tales preguntas (para que puedan centrarse en asuntos como las condiciones para una convergencia u otra de esto o aquello ...).

El problema es que los libros más avanzados están dirigidos a una radicalmente diferente población de lectores, uno donde el "escepticismo del extraño" se ha agotado drásticamente. IOW, aquellos que están tomando estadísticas de nivel de posgrado han pasado el punto de ser molestados por las preguntas que me molestan. . Ya no son escépticos sobre ninguna de estas cosas. (¿Cómo superaron el escepticismo? Quizás algunos nunca fueron demasiado críticos en primer lugar, especialmente si aprendieron sus estadísticas desde el principio; sé que yo no era un estudiante de primer año particularmente crítico, por ejemplo, aunque no lo hice tome estadísticas entonces. Otros pueden haber tenido maestros que completaron donde sus libros de texto se quedaron cortos. Algunos pudieron haber sido lo suficientemente inteligentes como para descubrir las respuestas a tales preguntas por sí mismos. Quién sabe).

kjo
fuente
2
La mayoría de esas preguntas, las que no debemos responder, ya tienen buenas respuestas en CV. Algunas de esas preguntas incluso tienen respuestas bastante triviales. Pero hay miles de preguntas que las personas formulan durante cualquier tema: nunca encontrarás una explicación que cubra todas las preguntas posibles, ni encontrarás una que solo anticipe las preguntas específicas que tienes mientras estás mirando o leyendo. Bueno, podrías acertar uno o dos por casualidad, pero en general es un estándar imposible. ¿Por qué no simplemente hacer las preguntas a medida que surgen? ¿En un sitio que responde preguntas?
Glen_b -Reinstate Monica
2
Diré que surgen preguntas similares cuando las personas hacen estadísticas (y algunos libros responden algunas de ellas), pero la mayoría de ellas no son preguntas reales relacionadas con el escepticismo, en su mayoría son preguntas simples de comprensión. por ejemplo, "qué son los grados de libertad y por qué nos importa" no es escéptico en absoluto, es pedir claridad de explicación y motivación. Las razones por las cuales los usuarios avanzados de estadísticas no se preocupan por eso es porque ya entienden por qué son tan valiosos.
Glen_b -Reinstate Monica

Respuestas:

6

Ya tienes algunas buenas sugerencias. Aquí hay algunos más. Primero, dos blogs que leo de forma esporádica, y donde a veces se discuten preguntas como las que usted se hace. Como son blogs, ¡incluso podrías hacer preguntas y obtener muy buenas respuestas! Aquí vienen:

http://andrewgelman.com/ (Andrew Gelman)

http://errorstatistics.com/ (Deborah Mayo)

Y creo que algunos libros te ayudarán: Box, Hunter & Hunter: Estadísticas para experimentadores.

Como dice el título, este es un curso ("primero", pero realmente, realmente ... segundo) para personas a las que les gustaría diseñar sus propios experimentos, y así analizarlos. Muy alto en la parte del "por qué".

Luego: DR Cox: Principios de inferencia estadística, otro muy buen libro sobre el "por qué" no el "cómo".

Y, como usted pregunta por qué las medias y las proporciones se tratan de manera diferente, aquí hay un libro que no hace eso: http://www.amazon.com/Statistics-4th-David-Freedman/dp/0393929728/ref=sr_1_1?s = libros & ie = UTF8 & qid = 1373395118 & sr = 1-1 & keywords = freedman + estadísticas

Bajo en matemáticas, alto en principios.

kjetil b halvorsen
fuente
8

Dudo que haya un solo libro que se adapte a usted, ya que las personas individuales tienden a ser escépticas sobre diferentes cosas, y los libros están escritos para un público objetivo, en lugar de para individuos. Esta es una de las cosas buenas de ser enseñado por una persona, en lugar de solo un libro, y es que puedes hacer preguntas a medida que avanzas. Esto es algo bastante difícil de hacer en un texto lineal.

No creo que haya necesariamente nada malo en descuidar las preguntas, llega un punto en el que abordar cada pregunta resta valor a la exposición de los conceptos básicos, que a menudo es más importante (¡especialmente en un libro de estadísticas 101!).

Sospecho que el mejor enfoque es conseguir un buen libro y luego buscar la respuesta a las preguntas sin respuesta en otro lugar. Tengo una estantería llena de textos estadísticos frente a mí, simplemente porque ninguno de ellos de forma aislada es todo lo que necesito (ni siquiera el libro de Jaynes; o).

Para el principiante absoluto, creo que el libro de Grant Foster "Comprender las estadísticas" es un buen lugar para comenzar, pero sospecho que es bastante básico en este caso.

Dikran Marsupial
fuente
1
"No creo que haya necesariamente nada malo en descuidar las preguntas ..." Creo que esta es una objeción justa; Agregué un EDIT a mi publicación para abordarlo.
kjo
7

XΘXΘΘXtXΘ

zen
fuente
55
+1 una gran parte de la razón por la cual los procedimientos estadísticos parecen cuestionables es porque son más bien contra-intuitivos y una apreciación histórica de cómo las estadísticas terminaron como es, es probablemente un buen enfoque para el escéptico.
Dikran Marsupial
2
@DikranMarsupial: De hecho, he leído "La historia de las estadísticas" de Stigler precisamente para llegar al fondo de mis dificultades con las estadísticas. Y ayudó a algunos. Desafortunadamente, deja de lado la mayor parte de la era de Fisher vs Neyman, cuando (sospecho) surgió gran parte de la perversidad extraña. Intenté unas 50 páginas del libro de Hald, pero encontré que sus derivaciones eran imposibles de seguir: estaban claramente dirigidas a lectores con experiencia estadística significativa ... Ahora que lo pienso, creo que un libro dirigido al laico educado y titulado "¿Por qué? ¿son las estadísticas tan raras? se vendería bien ... :)
kjo
44
En mi humilde opinión, la contra intuición de las estadísticas es anterior a la era de Fisher vs Neyman (aunque la intuición no implica utilidad o viceversa). Los libros de Ian Hacking pueden valer la pena, disfruté "The Emergence of Probability". Las estadísticas bayesianas me parecen mucho más fáciles de entender conceptualmente que las estadísticas frecuentas, pero mucho más difíciles de realizar en la práctica. Comprender las diferencias entre los enfoques bayesiano y frecuentista me ayudó mucho a comprender el enfoque frecuentista.
Dikran Marsupial
1
Gracias, revisaré Hacking. Sus libros han estado en mi mira durante mucho tiempo, aunque dejé de leerlo pensando que estaba más centrado en la filosofía de la teoría de la probabilidad (un tema que encuentro fascinante por derecho propio). Dicho esto, reconozco que al menos algunos de mis problemas con las estadísticas afectan la interpretación de la probabilidad, por lo que tal vez leer Hacking se encargará de al menos algunas de mis objeciones.
kjo
2
@kjo Leí la Lógica de inferencia estadística de Hacking y la encontré muy 'filosófica': tenía la idea de la probabilidad como 'apoyo' y estaba en Neyman-Pearson, pero siguió con ejemplos simples: no habló sobre parámetros molestos, múltiples -inferencia de parámetros, o cualquier cosa complicada (a menos que lo haya olvidado). Vale la pena leerlo, sin duda, pero no lo recomendaría para empezar.
Scortchi - Restablece a Monica
6

Abelson (1995), Statistics as Principled Argument es introductorio y tiene una visión interesante de algunas de las preguntas que a menudo confunden a los alumnos.

Pero tal vez solo necesite leer algunos libros sobre estadísticas teóricas (omitiendo todo lo relacionado con la convergencia, espacios métricos, etc.) y luego, incluso si no responden preguntas específicas como sus ejemplos, podrá responder la mayoría de ellos mismos, y busque el resto, como sugiere @Dikran.

Sugerí en otro hilo leer Cox & Hinkley, Estadísticas teóricas o Cox, Principios de inferencia estadística junto con Casella & Berger, Inferencia estadística para comprender las diferentes perspectivas que existen.

Scortchi - Restablece a Monica
fuente
1
Lo encontré interesante, pero no creo que esté en el nivel esperado por el OP.
Gala
@Gael Probablemente tengas razón, especialmente en vista de la edición.
Scortchi - Restablece a Monica