¿Cómo resolver la paradoja de Simpson?

La paradoja de Simpson es un rompecabezas clásico discutido en los cursos de introducción a la estadística en todo el mundo. Sin embargo, mi curso se conformó con simplemente nota de que existía un problema y no proporcionan una solución. Me gustaría saber cómo resolver la paradoja. Es decir, cuando se enfrenta a la paradoja de un Simpson, donde dos opciones diferentes parecen competir por el ser la mejor opción en función de cómo se reparte los datos, que la elección se tiene que escoger?

Para hacer el hormigón problema, consideremos el primer ejemplo dado en el artículo correspondiente de Wikipedia . Se basa en un estudio real sobre un tratamiento para los cálculos renales.

Supongamos que soy un médico y una prueba revela que un paciente tiene cálculos renales. Utilizando sólo la información proporcionada en la mesa, me gustaría para determinar si debería adoptar el tratamiento A o B. El tratamiento Parece que si sé que el tamaño de la piedra, entonces debemos preferir el tratamiento A. Pero si no lo hacemos, entonces debemos preferir el tratamiento B.

Pero considerar otra manera plausible de llegar a una respuesta. Si la piedra es grande, se debe elegir una, y si es pequeño, se debe elegir de nuevo A. Así que incluso si no sabemos el tamaño de la piedra, por el método de los casos, vemos que debemos preferir A. esto contradice el razonamiento anterior.

Por lo tanto: Un paciente entra en mi oficina. Una prueba revela que presentan cálculos renales, pero no me da ninguna información sobre su tamaño. ¿Qué tratamiento recomiendo? ¿Hay alguna resolución aceptado este problema?

Wikipedia sugiere una resolución usando "redes bayesianas causales" y una prueba de "puerta trasera", pero no tengo idea de cuáles son.

En su pregunta, declara que no sabe qué son las "redes bayesianas causales" y las "pruebas de puerta trasera".

Supongamos que tiene una red bayesiana causal. Es decir, un gráfico acíclico dirigido cuyos nodos representan proposiciones y cuyos bordes dirigidos representan posibles relaciones causales. Puede tener muchas de esas redes para cada una de sus hipótesis. Hay tres formas de hacer un argumento convincente sobre la fuerza o la existencia de un borde .$A \stackrel?\rightarrow B$

La forma más fácil es una intervención. Esto es lo que sugieren las otras respuestas cuando dicen que la "aleatorización adecuada" solucionará el problema. Usted forzar al azar a tener valores diferentes y medir B . Si puedes hacer eso, ya terminaste, pero no siempre puedes hacerlo. En su ejemplo, puede ser poco ético dar a las personas tratamientos ineficaces para enfermedades mortales, o pueden tener algo que decir en su tratamiento, por ejemplo, pueden elegir el menos duro (tratamiento B) cuando sus cálculos renales son pequeños y menos dolorosos.$A$$B$

La segunda forma es el método de la puerta de entrada. ¿Quieres mostrar que actúa sobre B a través de C , es decir, A → C → B . Si se supone que C es potencialmente causada por una , pero no tiene otras causas, y se puede medir que C se correlaciona con una , y B se correlaciona con C , entonces se puede concluir pruebas debe fluir a través de C . El ejemplo original: A está fumando, B es cáncer, $A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$Es la acumulación de alquitrán. El alquitrán solo puede provenir del tabaquismo, y se correlaciona tanto con el tabaquismo como con el cáncer. Por lo tanto, fumar causa cáncer a través del alquitrán (aunque podría haber otras vías causales que mitigan este efecto).

La tercera forma es el método de la puerta trasera. ¿Quieres mostrar que y B no están correlacionados a causa de una "puerta trasera", por ejemplo, causa común, es decir, un ← D → B . Puesto que usted ha asumido un modelo causal, que sólo necesita bloquear la totalidad de los caminos (mediante la observación de las variables y acondicionado en ellos) que la evidencia puede fluir desde una y hasta B . Es un poco complicado bloquear estas rutas, pero Pearl ofrece un algoritmo claro que le permite saber qué variables debe observar para bloquear estas rutas.$A$$B$$A \leftarrow D \rightarrow B$$A$$B$

Gung tiene razón en que con una buena aleatorización, los factores de confusión no importan. Dado que suponemos que no está permitido intervenir en la causa hipotética (tratamiento), cualquier causa común entre la causa hipotética (tratamiento) y el efecto (supervivencia), como la edad o el tamaño de los cálculos renales, será un factor de confusión. La solución es tomar las medidas correctas para bloquear todas las puertas traseras. Para más información ver:

Perla, Judea. "Diagramas causales para la investigación empírica". Biometrika 82.4 (1995): 669-688.

$X$$Y$ are both causes of success $Z$. $X$ may be a cause of $Y$ if other doctors are assigning tratment based on kidney stone size. Clearly there are no other causal relationships between $X$,$Y$, and $Z$. $Y$ comes after $X$ so it cannot be its cause. Similarly $Z$ comes after $X$ and $Y$.

Since $X$ is a common cause, it should be measured. It is up to the experimenter to determine the universe of variables and potential causal relationships. For every experiment, the experimenter measures the necessary "back door variables" and then calculates the marginal probability distribution of treatment success for each configuration of variables. For a new patient, you measure the variables and follow the treatment indicated by the marginal distribution. If you can't measure everything or you don't have a lot of data but know something about the architecture of the relationships, you can do "belief propagation" (Bayesian inference) on the network.

I have a prior answer that discusses Simpson's paradox here: Basic Simpson's paradox. It may help you to read that to better understand the phenomenon.

In short, Simpson's paradox occurs because of confounding. In your example, the treatment is confounded* with the kind of kidney stones each patient had. We know from the full table of results presented that treatment A is always better. Thus, a doctor should choose treatment A. The only reason treatment B looks better in the aggregate is that it was given more often to patients with the less severe condition, whereas treatment A was given to patients with the more severe condition. Nonetheless, treatment A performed better with both conditions. As a doctor, you don't care about the fact that in the past the worse treatment was given to patients who had the lesser condition, you only care about the patient before you, and if you want that patient to improve, you will provide them with the best treatment available.

*_{Note that the point of running experiments, and randomizing treatments, is to create a situation in which the treatments are not confounded. If the study in question was an experiment, I would say that the randomization process failed to create equitable groups, although it may well have been an observational study--I don't know.}

This nice article by Judea Pearl published in 2013 deals exactly with the problem of which option to choose when confronted with Simpson's paradox:

Understanding Simpson's paradox (PDF)

Do you want the solution to the one example or the paradox in general? There is none for the latter because the paradox can arise for more than one reason and needs to be assessed on a case by case basis.

The paradox is primarily problematic when reporting summary data and is critical in training individuals how to analyze and report data. We don't want researchers reporting summary statistics that hide or obfuscate patterns in the data or data analysts failing to recognize what the real pattern in the data is. No solution was given because there is no one solution.

In this particular case the doctor with the table would clearly always pick A and ignore the summary line. It makes no difference if they know the size of the stone or not. If someone analyzing the data had only reported the summary lines presented for A and B then there'd be an issue because the data the doctor received wouldn't reflect reality. In this case they probably should have also left the last line off of the table since it's only correct under one interpretation of what the summary statistic should be (there are two possible). Leaving the reader to interpret the individual cells would generally have produced the correct result.

(Your copious comments seem to suggest you're most concerned about unequal N issues and Simpson is broader than that so I'm reluctant to dwell on the unequal N issue further. Perhaps ask a more targeted question. Furthermore, you seem to think I am advocating a normalization conclusion. I am not. I am arguing that you need to consider that the summary statistic is relatively arbitrarily selected and that selection by some analyst gave rise to the paradox. I'm further arguing that you look at the cells you have.)

One important "take away" is that if treatment assignments are disproportionate between subgroups, one must take subgroups into account when analyzing the data.

A second important "take away" is that observational studies are especially prone to delivering wrong answers due to the unknown presence of Simpson's paradox. That's because we cannot correct for the fact that Treatment A tended to be given to the more difficult cases if we don't know that it was.

In a properly randomized study we can either (1) allocate treatment randomly so that giving an "unfair advantage" to one treatment is highly unlikely and will automatically get taken care of in the data analysis or, (2) if there is an important reason to do so, allocate the treatments randomly but disproportionately based on some known issue and then take that issue into account during the analysis.