Cómo calcular la varianza de una partición de variables

Estoy ejecutando un experimento en el que estoy reuniendo muestras (independientes) en paralelo, calculo la varianza de cada grupo de muestras y ahora quiero combinar todo para encontrar la varianza total de todas las muestras.

Me está costando encontrar una derivación para esto, ya que no estoy seguro de la terminología. Pienso en ello como una partición de un RV.

Entonces, quiero encontrar de , , ... y , donde = . $Var(X)$ $Var(X_1)$ $Var(X_2)$ $Var(X_n)$ $X$ $[X_1, X_2, \dots, X_n]$

EDITAR: Las particiones no son del mismo tamaño / cardinalidad, pero la suma de los tamaños de partición es igual al número de muestras en el conjunto de muestras general.

EDIT 2: aquí hay una fórmula para un cálculo paralelo , pero solo cubre el caso de una partición en dos conjuntos, no $n$ conjuntos.

variance gallamina
fuente

¿Es esto lo mismo que mi pregunta aquí: mathoverflow.net/questions/64120/…

¿Qué significa ese último paréntesis? ¿Y qué quieres decir con "varianza total"? ¿Es algo más que la varianza del conjunto de datos combinado?

Whuber

@whuber que último soporte? "varianza total" significa la varianza del conjunto de datos total.

gallamina

La expresión

podría significar muchas cosas (aunque convencionalmente sería un vector): estaba buscando una aclaración.

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$

Whuber

Respuestas:

La fórmula es bastante sencilla si todas las submuestras tienen el mismo tamaño de muestra. Si tenía submuestras de tamaño (para un total de muestras), entonces la varianza de la muestra combinada depende de la media y la varianza de cada submuestra: $g$ $k$ $gk$ $E_j$ $V_j$ donde porsignifica la varianza de las medias muestrales.

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

Una demostración en R:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

Si los tamaños de muestra no son iguales, la fórmula no es tan buena.

EDITAR: fórmula para tamaños de muestra desiguales

Si hay submuestras, cada una con elementos para un total de valores, entonces $g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$ donde

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$ es el promedio ponderado de todas las medias (y es igual a la media de todos los valores).

De nuevo, una demostración:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

Aniko
fuente

Gracias. Desafortunadamente, no puedo garantizar que mis particiones sean del mismo tamaño. Estoy ejecutando un proceso masivamente paralelo donde necesito calcular las variaciones de cada partición en paralelo y luego combinarlas al final, pero los resultados / muestras de cada proceso paralelo no son iguales (es una simulación de Monte Carlo de fotones recibidos).

gallamina

No puedo hacer +1 en esta fórmula súper útil para el cálculo paralelo en un entorno de almacén de datos

Noah Yetter

Esto es simplemente un complemento a la respuesta de aniko con un bosquejo aproximado de la derivación y un código de python, por lo que todos los créditos van a aniko.

derivación

$X_j \in X = \{X_1, X_2, \ldots, X_g\}$ ser uno de $g$ partes de los datos donde el número de elementos en cada parte es $k_j = |X_j|$ . Definimos la media y la varianza de cada parte para ser

\begin{aligned} {mi}_{j} & = mi [X_{j}] = \frac{1}{k_{j}} \sum_{yo = 1}^{k_{j}} X_{j yo} \\ V_{j} & = V un r [X_{j}] = \frac{1}{k_{j} - 1} \sum_{yo = 1}^{k_{j}} (X_{j yo} - {mi}_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$ respectivamente. Si establecemos

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$ , la varianza del conjunto de datos total viene dada por:

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$ If we have the same size

k

$k$ for each part, i.e.

\forall j : k_{j} = k

$\forall j: k_j = k$ , above formula simplifies to

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

Mr Tsjolder
fuente