La mejor manera de evaluar los métodos de estimación de PDF

Deseo probar algunas de mis ideas que creo que son mejores que cualquier cosa que haya visto. Podría estar equivocado, pero me gustaría probar mis ideas y vencer mis dudas con observaciones más ciertas.

Lo que he estado pensando hacer es lo siguiente:

1. Definir analíticamente un conjunto de distribuciones. Algunos de estos son fáciles como Gauss, uniforme o Tophat. Pero algunos de estos deben ser difíciles y desafiantes, como la distribución de los Simpson.
2. Implemente software basado en esas distribuciones analíticas y utilícelas para generar algunas muestras.
3. Debido a que las distribuciones están definidas analíticamente, ya, por definición, conozco sus verdaderos archivos PDF. Esto es genial.
4. Luego probaré los siguientes métodos de estimación en PDF con las muestras anteriores:
   • Métodos de estimación de PDF existentes (como KDE con varios núcleos y anchos de banda).
   • Mi propia idea que creo que vale la pena probar.
5. Luego mediré el error de las estimaciones contra los PDF verdaderos.
6. Entonces sabré mejor cuál de los métodos de estimación de PDF es bueno.

Mis preguntas son:

• P1: ¿Hay alguna mejora con respecto a mi plan anterior?
• P2: Me resulta difícil definir analíticamente muchos PDF verdaderos. ¿Existe ya una lista completa de muchos PDF verdaderos definidos analíticamente con diversas dificultades (incluidas las muy difíciles) que puedo reutilizar aquí?

A2: Puede probar sus métodos en 1D en el siguiente conjunto de puntos de referencia .

• A1. Esto me suena como un plan sensato. Solo por mencionar un par de puntos. Querrá probar con diferentes métricas de error ( , divergencia KL, etc.) ya que los métodos funcionarán de manera diferente dependiendo de la función de pérdida. Además, querrá probar diferentes cantidades de muestras. Finalmente, muchos métodos de estimación de densidad funcionan muy mal cerca de las discontinuidades / límites, así que asegúrese de incluir archivos PDF truncados en su conjunto.$L^p$

• A2. ¿Está interesado solo en archivos PDF 1-D o es su plan para probar el caso multivariante? En cuanto a un conjunto de referencia de archivos PDF, hice una pregunta algo relacionada en el pasado con el objetivo de probar algoritmos MCMC , pero no encontré nada como un conjunto de archivos PDF bien establecido.

Si tiene mucho tiempo y recursos computacionales, puede considerar realizar algún tipo de prueba contradictoria de su idea:

• Defina una familia paramétrica muy flexible de archivos PDF (por ejemplo, una gran mezcla de varios archivos PDF conocidos) y muévase por el espacio de parámetros de la mezcla a través de algún método de optimización global no convexo (*) para minimizar el rendimiento de su método y maximizar rendimiento de algún otro método de estimación de densidad de última generación (y posiblemente viceversa). Esta será una prueba sólida de la fuerza / debilidad de su método.

Finalmente, el requisito de ser mejor que todos los demás métodos es una barra excesivamente alta; debe haber algún principio de no almuerzo gratis en el trabajo (cualquier algoritmo tiene alguna suposición previa subyacente, como suavidad, escala de longitud, etc.). Para que su método sea una contribución valiosa, solo necesita demostrar que existen regímenes / dominios de algún interés general en los que su algoritmo funciona mejor (la prueba de confrontación anterior puede ayudarlo a encontrar / definir dicho dominio).

(*) Dado que su métrica de rendimiento es estocástica (la evaluará mediante el muestreo de Monte Carlo), también puede consultar esta respuesta sobre la optimización de funciones objetivas ruidosas y costosas.

P1: ¿Hay alguna mejora con respecto a mi plan anterior?

Eso depende. Los residuos de distribución de mezclas a menudo resultan de hacer cosas tontas como especificar una distribución de mezcla innecesaria como un modelo de datos para empezar. Entonces, mi propia experiencia sugiere al menos especificar tantos términos de distribución de mezcla en la salida como hay en el modelo. Además, el resultado de la mezcla de PDF es diferente a los PDF del modelo. La búsqueda predeterminada de Mathematica incluye distribuciones de mezclas con dos términos, y puede especificarse como un número mayor.

P2: ¿Existe ya una lista completa de muchos PDF verdaderos definidos analíticamente con diversas dificultades (incluidas las muy difíciles) que puedo reutilizar aquí?

Esta es una lista de la rutina FindDistribution de Mathematica :

Posibles distribuciones continuas para TargetFunctions son: BetaDistribution, Distribución de Cauchy, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, distribución gamma, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, Distribución de Laplace, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Distribución de Pareto, Distribución de Rayleigh, StudentTDistribution, UniformDistribution, Distribución de Weibull , HistogramDistribution.

Las distribuciones discretas posibles para las funciones de destino son: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, NecaliveBinomialDistribution, PascalDistribution, PoissonDistributionDistrisationDistributionDistributionDistribución, ZipDistributionDistribución, ZipDistributionDistributionDistribución, PasarDistribution, PoissonDistributionDistribution,

El criterio de información interna utiliza un criterio de información bayesiano junto con anteriores sobre TargetFunctions.