Búsqueda de raíz para la función estocástica

17

Supongamos que tenemos una función que solo podemos observar a través de algo de ruido. No podemos calcular directamente, solo donde es un ruido aleatorio. (En la práctica: calculo usando algún método de Monte Carlo).f(x)f(x)f(x)+ηηf(x)

¿Qué métodos están disponibles para encontrar raíces de , es decir, calcular para que ?fxf(x)=0

Estoy buscando métodos que minimicen la cantidad de evaluaciones necesarias para , ya que esto es computacionalmente costoso.f(x)+η

Estoy particularmente interesado en métodos que generalizan a múltiples dimensiones (es decir, resuelven ).f(x,y)=0,g(x,y)=0

También estoy interesado en los métodos que pueden hacer uso de cierta información sobre la varianza de , ya que una estimación de esto puede estar disponible al calcular usando MCMC.ηf(x)

Szabolcs
fuente
No estoy seguro de cuáles son las etiquetas correctas para esta pregunta, ayúdenos a volver a etiquetar.
Szabolcs
3
Para ser justos, encontré aproximación estocástica , pero muy poca información práctica con ejemplos o discusión práctica de cuándo funciona bien y cuándo no. La mayor parte de la información se encuentra en documentos académicos que parecen requerir bastante trabajo para convertirse en una aplicación práctica. Otra cosa que encontré es la palabra clave Estimación libre de probabilidad que resuelve un problema muy similar y hay más información práctica disponible en línea. ¿Hay algo mas? Las referencias son bienvenidas!
Szabolcs
problema interesante supongo que todos los métodos de gradiente desaparecen por la ventana
Aksakal
Además, en su caso el problema es más difícil: puede controlar través de MCvar[η]
Aksakal
Agregaré 50 adicionales a la recompensa de Glen_b por una buena respuesta.
Szabolcs

Respuestas:

12

Puede encontrar útiles las siguientes referencias:

Pasupathy, R. y Kim, S. (2011) El problema estocástico de búsqueda de raíces: descripción general, soluciones y preguntas abiertas. Transacciones de ACM sobre modelado y simulación por computadora, 21 (3). [ DOI ] [ preimpresión ]

Waeber, R. (2013) Búsqueda de bisección probabilística para encontrar raíces estocásticas. Tesis doctoral, Universidad de Cornell, Ithaca. [ pdf ]

QuantIbex
fuente
(+1) Tener una pregunta respondida con una cita de disertación de 2013 es bastante impresionante.
Sycorax dice Reinstate Monica el
1
Este es google-fu es fuerte
bdeonovic
1
El primer documento que cita es útil, pero debe tenerse en cuenta que todavía se necesita bastante trabajo para poner en práctica los métodos.
Szabolcs
Sería realmente bueno si alguien que pasara por los métodos pudiera dar una estimación de cuánto trabajo lleva pasar del documento a la implementación más simple. Echó un vistazo al primer artículo y parece bastante denso.
Ramon Martinez
Creo que para este tipo de problemas puede usar el descenso de gradiente estocástico, ver, por ejemplo, finzi.psych.upenn.edu/R/library/sgd/html/sgd.html
Tom Wenseleers