Definición de familia de una distribución?

¿Una familia de una distribución tiene una definición de estadística diferente a la de otras disciplinas?

En general, una familia de curvas es un conjunto de curvas, cada una de las cuales viene dada por una función o parametrización en la que se varía uno o más de los parámetros. Dichas familias se utilizan, por ejemplo, para caracterizar componentes electrónicos .

Para las estadísticas, una familia según una fuente es el resultado de variar el parámetro de forma. Entonces, ¿cómo podemos entender que la distribución gamma tiene un parámetro de forma y escala y que solo la distribución gamma generalizada tiene, además, un parámetro de ubicación? ¿Eso hace que la familia sea el resultado de variar el parámetro de ubicación? Según @whuber, el significado de una familia es implícitamente Una "parametrización" de una familia es un mapa continuo desde un subconjunto de ℝ n , con su topología habitual, en el espacio de distribuciones, cuya imagen es esa familia.$^n$

¿Qué es, en lenguaje simple, una familia para distribuciones estadísticas?

Una pregunta sobre las relaciones entre las propiedades estadísticas de las distribuciones de la misma familia ya ha generado una controversia considerable por una pregunta diferente, por lo que parece que vale la pena explorar el significado.

Que esta no es necesariamente una pregunta simple nace por su uso en la frase familia exponencial , que no tiene nada que ver con una familia de curvas, sino que está relacionada con cambiar la forma del PDF de una distribución por reparametrización no solo de parámetros , pero también la sustitución de funciones de variables aleatorias independientes.

Los conceptos estadísticos y matemáticos son exactamente iguales, entendiendo que "familia" es un término matemático genérico con variaciones técnicas adaptadas a diferentes circunstancias:

Una familia paramétrica es una curva (o superficie u otra generalización de dimensión finita de la misma) en el espacio de todas las distribuciones.

El resto de esta publicación explica lo que eso significa. Por otro lado, no creo que nada de esto sea controvertido, ni matemática ni estadísticamente (aparte de un problema menor que se señala a continuación). En apoyo de esta opinión, he proporcionado muchas referencias (principalmente a artículos de Wikipedia).

Esta terminología de "familias" tiende a usarse cuando se estudian las clases de funciones en un conjunto Y o "mapas". Dado un dominio X , una familia F de mapas en X parametrizada por algún conjunto Θ (los "parámetros") es una función$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

para el cual (1) para cada , la función F θ : $\theta\in\Theta$ dada por F θ ( x ) = F ( x , θ ) está en C Y y (2)$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$ tiene ciertas propiedades "agradables".$\mathcal F$

La idea es que queremos variar las funciones de a Y de manera "uniforme" o controlada. La propiedad (1) significa que cada θ designa dicha función, mientras que los detalles de la propiedad (2) capturarán el sentido en el que un cambio "pequeño" en θ induce un cambio suficientemente "pequeño" en F$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$ .

Un ejemplo matemático estándar, cercano al mencionado en la pregunta, es una homotopía . En este caso, es la categoría de mapas continuos desde los espacios topológicos X al espacio topológico Y ;$\mathcal{C}_Y$ $X$$Y$ es el intervalo de unidad con su topología usual, y requiere que F sea unacontinuamapa a partir del producto topológico X × Θ en Y . Puede considerarse como una "deformación continua del mapa$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$$\mathcal{F}_0$a ". Cuando X$\mathcal{F}_1$ es en sí mismo un intervalo, tales mapas soncurvasen$X=[0,1]$$Y$ y la homotopía es una deformación suave de una curva a otra.

Para aplicaciones estadísticas, es el conjunto de todas las distribuciones en R (o, en la práctica, en R n para alguna n , pero para mantener la exposición simple me enfocaré en n = $\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$ ). Podemos identificarlo con el conjunto de todas las funciones càdlàg no decrecientes donde el cierre de su rango incluye tanto 0 como 1 : estas son las funciones de distribución acumulativa, o simplemente funciones de distribución. Por lo tanto, X = R y$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ .$Y=[0,1]$

Una familia de distribuciones es cualquier subconjunto de . $\mathcal{C}_Y$ Otro nombre para una familia es modelo estadístico. Consiste en todas las distribuciones que suponemos que rigen nuestras observaciones, pero no sabemos qué distribución es la real.

• Una familia puede estar vacía.
• sí es una familia.$\mathcal{C}_Y$
• Una familia puede consistir en una distribución única o solo en un número finito de ellas.

Estas características teóricas de conjuntos abstractos son de relativamente poco interés o utilidad. Es solo cuando consideramos una estructura matemática adicional (relevante) en que este concepto se vuelve útil. Pero, ¿qué propiedades de C Y son de interés estadístico? Algunos que aparecen con frecuencia son:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. es unconjunto convexo: dadas dos distribuciones F , G ∈ C Y , podemos formar ladistribución delamezcla(1-t) F +t$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ para todas las t ∈ [ 0 , 1 ] . Este es un tipo de "homotopía" de F a$(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$ .

2. Grandes partes de admiten varias pseudo métricas, como la divergencia Kullback-Leibler o la métrica de Fisher Information estrechamente relacionada.$\mathcal{C}_Y$

3. tiene una estructura de aditivo: correspondiente a cualquiera de las dos distribuciones F y G es su suma, F ⋆ G .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. admite muchas funciones útiles y naturales, a menudo denominadas "propiedades". Estos incluyen cualquier cuantil fijo (como la mediana), así como losacumulantes.$\mathcal{C}_Y$

5. es un subconjunto de unespacio de funciones. Como tal, hereda muchas métricas útiles, como lanorma sup(norma L ∞ ) dada por | El | F-G | El | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Naturales acciones de grupo en inducen acciones en C Y . Las acciones más comunes son las traducciones T μ : x → x + μ y scalings S σ : x → x σ para σ > 0 . El efecto que tienen en una distribución es enviar F a la distribución dada por F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Estos conducen a los conceptos de familias de escala de ubicación y sus generalizaciones. (No proporciono una referencia, porque las búsquedas extensas en la Web muestran una variedad de definiciones diferentes: aquí, al menos, puede haber un poco de controversia).$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Las propiedades que importan dependen del problema estadístico y de cómo piensa analizar los datos. Abordar todas las variaciones sugeridas por las características anteriores tomaría demasiado espacio para este medio. Centrémonos en una aplicación importante común.

Tomemos, por ejemplo, la máxima probabilidad. En la mayoría de las aplicaciones, querrá poder usar Cálculo para obtener una estimación. Para que esto funcione, debe ser capaz de "tomar derivados" en la familia.

( Técnica de lado: La forma habitual en que esto se logra es seleccionar un dominio para d ≥ 0 y especifique una , continua localmente invertible función p de Θ en C Y (esto significa que por cada. Theta ∈ Θ hay existe una bola B ( θ , ϵ ) , con ϵ > 0 para la cual p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$ es uno a uno. En otras palabras, si alteramos θ en una cantidad suficientemente pequeña siempre obtendremos una distribución diferente.))$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

En consecuencia, en la mayoría de las aplicaciones de ML requerimos que sea ​​continuo (y con suerte, casi diferenciable en todas partes) en el componente Θ . (Sin continuidad, maximizar la probabilidad generalmente se convierte en un problema insoluble). Esto lleva a la siguiente definición orientada a la probabilidad de una familia paramétrica :$p$$\Theta$

Una familia paramétrica de distribuciones (univariadas) es un mapa localmente invertible con Θ ⊂ R n , para el cual (a) cada F θ es una función de distribución y (b) para cada x ∈ R , la función L x : θ → [ 0 , 1 ] dada por L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ es continuo y casi en todas partes diferenciable.

Tenga en cuenta que una familia paramétrica es más que solo la colección de F θ : también incluye la forma específica en que los valores de los parámetros θ corresponden a las distribuciones.$\mathcal F$$\mathcal{F}_\theta$$\theta$

Terminemos con algunos ejemplos ilustrativos.

• Deje ser el conjunto de todas las distribuciones normales. Como se indicó, esta no es una familia paramétrica: es solo una familia. Para ser paramétricos, tenemos que elegir una parametrización. Una forma es elegir Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } y mapear ( μ , σ ) a la distribución Normal con media μ y varianza σ 2 .$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• El conjunto de Poisson distribuciones$(\lambda)$ es una familia paramétrica con .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• $(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$.

• $F$ and $G$ be any two distributions. Then $\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$ is a parametric family for $\theta\in[0,1]$. (Proof: the image of $\mathcal F$ is a set of distributions and its partial derivative in $\theta$ equals $-F(x)+G(x)$ which is defined everywhere.)

• The Pearson family is a four-dimensional family, $\Theta\subset\mathbb{R}^4$, which includes (among others) the Normal distributions, Beta distributions, and Inverse Gamma distributions. This illustrates the fact that any one given distribution may belong to many different distribution families. This is perfectly analogous to observing that any point in a (sufficiently large) space may belong to many paths that intersect there. This, together with the previous construction, shows us that no distribution uniquely determines a family to which it belongs.

• The family $\mathcal{C}_Y$ of all finite-variance absolutely continuous distributions is not parametric. The proof requires a deep theorem of topology: if we endow $\mathcal{C}_Y$ with any topology (whether statistically useful or not) and $p: \Theta\to\mathcal{C}_Y$ is continuous and locally has a continuous inverse, then locally $\mathcal{C}_Y$ must have the same dimension as that of $\Theta$. However, in all statistically meaningful topologies, $\mathcal{C}_Y$ is infinite dimensional.

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair $( S , P )$, where $S$ is the set of possible observations, i.e., the sample space, and $P$ is a set of probability distributions on $S$.

Suppose that we have a statistical model $(S, \mathcal{P})$ with $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.