Estimador de máxima probabilidad de distribución conjunta dado solo recuentos marginales

Sea una distribución conjunta de dos variables categóricas X , Y , con x , y ∈ { 1 , ... , K } . Digamos que se tomaron n muestras de esta distribución, pero solo se nos dan los recuentos marginales, es decir, para j = 1 , ... , K :$p_{x,y}$$X,Y$$x,y\in\{1,\ldots,K\}$$n$$j=1,\ldots,K$

$$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$$

¿Cuál es el estimador de máxima verosimilitud para , dado S j , T j ? ¿Se sabe esto? ¿Computacionalmente factible? ¿Existen otros enfoques razonables para este problema que no sean ML?$p_{x,y}$$S_j,T_j$

Este tipo de problema se estudió en el documento "Aumento de datos en tablas de contingencia de múltiples vías con totales marginales fijos" de Dobra et al (2006). Supongamos que denota los parámetros del modelo, que n denota la tabla de recuentos enteros no observados para cada par ( x , y ) , y que C ( S , T ) es el conjunto de tablas de enteros cuyos recuentos marginales son iguales ( S , T ) . Entonces la probabilidad de observar los recuentos marginales ( S , T ) es: p $\theta$$\mathbf{n}$$(x,y)$$C(S,T)$$(S,T)$$(S,T)$ donde p ( n | θ ) es la distribución de muestreo multinomial. Esto define la función de probabilidad para ML, pero la evaluación directa no es factible excepto por pequeños problemas. El enfoque que recomiendan es MCMC, donde puede actualizar alternativamente n y

$$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$$ $p(\mathbf{n} | \theta)$$\mathbf{n}$$\theta$tomando muestras de una distribución de propuesta y aceptando el cambio de acuerdo con el índice de aceptación de Metropolis-Hastings. Esto podría adaptarse para encontrar un máximo aproximado sobre usando Monte Carlo EM. $\theta$

Un enfoque diferente usaría métodos variacionales para aproximar la suma sobre . Las restricciones marginales pueden codificarse como un gráfico de factores y la inferencia sobre θ podría llevarse a cabo utilizando la propagación de expectativas.$\mathbf{n}$$\theta$

Para ver por qué este problema es difícil y no admite una solución trivial, considere el caso . Tomando S como las sumas de las filas y T como las sumas de las columnas, hay dos posibles tablas de recuento: [ 0 1 2 0$S=(1,2), T=(2,1)$$S$$T$ Por lo tanto la función de probabilidad es p(S,T | theta)=3 p 12 p 2 21 +6 p 11 p 21 p 22 El MLE para este problema es p x , Y = [ 0 1 / 3 2 / 3 0

$$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$$ $$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$$ $$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$$ que corresponde a asumir la tabla de la izquierda. Por el contrario, la estimación que se podrían obtener por supuesto de independencia es que tiene un valor de probabilidad menor. $$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$$

Como ha señalado @Glen_b, esto no está suficientemente especificado. No creo que pueda usar la probabilidad máxima a menos que pueda especificar completamente la probabilidad.

Si estaba dispuesto a asumir la independencia, entonces el problema es bastante simple (por cierto, creo que la solución sería la solución de entropía máxima que se ha sugerido). Si no está dispuesto o no puede imponer una estructura adicional en su problema y aún desea algún tipo de aproximación a los valores de las celdas, puede utilizar los límites de la cópula Fréchet-Hoeffding . Sin suposiciones adicionales, no creo que pueda ir más allá.

$p_{x,y}$$p_x = \sum_y p_{x,y}$$p_y = \sum_x p_{x,y}$

Lo incorrecto sigue:

$p_{x, y}$$X, Y$$S_1 = S_2 = T_1 = T_2 = 10$

$$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$$

$p_x$$p_y$

---

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$$0 < a \le d$$p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

---

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$\vec g(p) = 0$$g_x(p) = \sum_y p_{x,y} - p_x$$g_y(p) = \sum_x p_{x,y} - p_y$

$$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$$

$g_k$

$$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$$

$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$e^{1/2 - \lambda_x} = p_x$$e^{1/2 - \lambda_y} = p_y$

$$p_{x,y} = p_xp_y.$$