¿Cuál es la diferencia entre una probabilidad parcial, una probabilidad de perfil y una probabilidad marginal?

Veo que se usan estos términos y sigo confundiéndolos. ¿Hay una explicación simple de las diferencias entre ellos?

La función de probabilidad generalmente depende de muchos parámetros. Dependiendo de la aplicación, generalmente solo estamos interesados ​​en un subconjunto de estos parámetros. Por ejemplo, en la regresión lineal, el interés generalmente reside en los coeficientes de la pendiente y no en la varianza del error.

Denote los parámetros que nos interesan como y los parámetros que no son de interés principal como . La forma estándar de abordar el problema de la estimación es maximizar la función de probabilidad para que podamos obtener estimaciones de y . Sin embargo, dado que el interés principal radica en parcial, el perfil y la probabilidad marginal ofrecen formas alternativas de estimar sin estimar .$\beta$$\theta$$\beta$$\theta$$\beta$$\beta$$\theta$

Para ver la diferencia, denote la probabilidad estándar con .$L(\beta, \theta|\mathrm{data})$

Máxima verosimilitud

Encuentre y que maximice .$\beta$$\theta$$L(\beta, \theta|\mathrm{data})$

Probabilidad parcial

Si podemos escribir la función de probabilidad como:

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

Luego, simplemente maximizamos .$L_1(\beta|\mathrm{data})$

Probabilidad de perfil

Si podemos expresar como una función de , reemplazamos con la función correspondiente.$\theta$$\beta$$\theta$

Digamos, . Entonces, maximizamos:$\theta = g(\beta)$

$$L(\beta, g(\beta)|\mathrm{data})$$

Probabilidad marginal

Integramos a cabo de la ecuación de probabilidad aprovechando el hecho de que podemos identificar la distribución de probabilidad de condicionada a .$\theta$$\theta$$\beta$

Los tres se utilizan cuando se trata con parámetros molestos en la función de probabilidad completamente especificada.

La probabilidad marginal es el método principal para eliminar parámetros molestos en teoría. Es una verdadera función de probabilidad (es decir, es proporcional a la probabilidad (marginal) de los datos observados).

La probabilidad parcial no es una probabilidad real en general. Sin embargo, en algunos casos puede tratarse como una probabilidad de inferencia asintótica. Por ejemplo, en los modelos de riesgos proporcionales de Cox, donde se originó, estamos interesados ​​en las clasificaciones observadas en los datos (T1> T2> ..) sin especificar el riesgo de referencia. Efron demostró que la probabilidad parcial pierde poca o ninguna información para una variedad de funciones peligrosas.

La probabilidad de perfil es conveniente cuando tenemos una función de probabilidad multidimensional y un único parámetro de interés. Se especifica reemplazando la molestia S por su MLE en cada T fijo (el parámetro de interés), es decir, L (T) = L (T, S (T)). Esto puede funcionar bien en la práctica, aunque existe un sesgo potencial en el MLE obtenido de esta manera; La probabilidad marginal corrige este sesgo.