¿Hay algún dominio donde Bayesian Networks supere a las redes neuronales?

Las redes neuronales obtienen los mejores resultados en tareas de visión por computadora (ver MNIST , ILSVRC , Kaggle Galaxy Challenge ). Parecen superar a cualquier otro enfoque en Computer Vision. Pero también hay otras tareas:

• Desafío de actividad molecular de Kaggle
• Regresión: predicción de Kaggle Rain , también el segundo lugar
• Agarre y 2º Ascensor también el tercer lugar - Identificar los movimientos de las manos de los registros de EEG

No estoy muy seguro sobre ASR (reconocimiento automático de voz) y la traducción automática, pero creo que también he escuchado que las redes neuronales (recurrentes) (comienzan a) superan a otros enfoques.

Actualmente estoy aprendiendo sobre las redes bayesianas y me pregunto en qué casos se aplican generalmente esos modelos. Entonces mi pregunta es:

¿Existe algún desafío / competencia (Kaggle), donde el estado del arte son las redes bayesianas o al menos modelos muy similares?

(Nota al margen: también he visto árboles de decisión , 2 , 3 , 4 , 5 , 6 , 7 victorias en varios desafíos recientes de Kaggle)

Una de las áreas donde a menudo se utilizan enfoques bayesianos, es donde uno necesita la capacidad de interpretación del sistema de predicción. No desea dar a los médicos una red neuronal y decir que es 95% precisa. Prefiere explicar las suposiciones que hace su método, así como el proceso de decisión que utiliza el método.

Un área similar es cuando tienes un conocimiento previo de dominio fuerte y quieres usarlo en el sistema.

Las redes bayesianas y las redes neuronales no son exclusivas entre sí. De hecho, las redes bayesianas son solo otro término para "modelo gráfico dirigido". Pueden ser muy útiles en el diseño de funciones objetivas de redes neuronales. Yann Lecun ha señalado esto aquí: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Un ejemplo.

El codificador automático variacional y las derivadas son modelos gráficos dirigidos de la forma Se utiliza una red neuronal para implementar p ( x | z ) y una aproximación a su inverso: q ( z | x ) ≈ p ( z | x ) .

Excelentes respuestas ya.

Un dominio en el que puedo pensar, y en el que estoy trabajando extensamente, es el dominio de análisis de clientes .

Tengo que comprender y predecir los movimientos y los motivos de los clientes para informar y advertir tanto a la atención al cliente, el marketing y también a los equipos de crecimiento.

Entonces, aquí, las redes neuronales hacen un muy buen trabajo en la predicción de abandono, etc. Pero, encontré y prefiero el estilo de redes bayesianas, y aquí están las razones para preferirlo:

1. Los clientes siempre tienen un patrón. Siempre tienen una razón para actuar. Y esa razón sería algo que mi equipo ha hecho por ellos, o ellos mismos han aprendido. Entonces, todo tiene un previo aquí, y de hecho esa razón es muy importante ya que alimenta la mayor parte de la decisión tomada por el cliente.
2. Cada movimiento del cliente y los equipos de crecimiento en el embudo de marketing / ventas es causa-efecto. Por lo tanto, el conocimiento previo es vital cuando se trata de convertir un posible cliente potencial en un cliente.

Entonces, el concepto de prior es muy importante cuando se trata de análisis de clientes, lo que hace que el concepto de redes bayesianas sea muy importante para este dominio.

Aprendizaje sugerido:

Métodos Bayesianos para Redes Neuronales

Redes bayesianas en analítica empresarial

A veces te importa tanto cambiar el resultado como predecir el resultado.

Una red neuronal con suficientes datos de entrenamiento tenderá a predecir mejor el resultado, pero una vez que pueda predecir el resultado, es posible que desee predecir el efecto de realizar cambios en las características de entrada en el resultado.

Un ejemplo de la vida real es saber que es probable que alguien tenga un ataque cardíaco, pero poder decirle a la persona que si dejara de hacer XX, el riesgo se reduciría en un 30% es un beneficio mucho mayor.

Del mismo modo para la retención de clientes, saber por qué los clientes dejan de comprar con usted vale tanto como predecir los clientes que probablemente dejarán de comprar con usted.

También una Red Bayesiana más simple que predice menos bien pero que lleva a tomar más medidas a menudo puede ser mejor que una Red Bayesiana más "correcta".

La mayor ventaja de las redes bayesianas sobre las redes neuronales es que pueden usarse para inferencia causal. Esta rama es de fundamental importancia para las estadísticas y el aprendizaje automático y Judea Pearl ha ganado el premio Turing por esta investigación.

Las redes bayesianas pueden superar a las redes neuronales en entornos de datos pequeños. Si la información previa se gestiona adecuadamente a través de la estructura de la red, los antecedentes y otros hiperparámetros, podría tener una ventaja sobre las redes neuronales. Las redes neuronales, especialmente las que tienen más capas, son muy conocidas por tener hambre de datos. Casi por definición, se necesitan muchos datos para capacitarlos adecuadamente.

Publiqué este enlace en Reddit y recibí muchos comentarios. Algunos han publicado sus respuestas aquí, otros no. Esta respuesta debería sumar la publicación de reddit. (Lo hice wiki comunitario, para no obtener puntos por ello)

• Bayes variacionales de codificación automática es una combinación de una red Bayes y una red neuronal. El artículo Redes neuronales convolucionales bayesianas con inferencia variacional aproximada de Bernoulli parece ir en la misma dirección.
• Abandono: una forma simple de evitar que las redes neuronales se sobreajusten es un ejemplo en el que las redes neuronales bayesianas superan su enfoque de abandono (ver sección 6.4 "Comparación con las redes neuronales bayesianas")
• El aprendizaje de conceptos a nivel humano a través de la inducción del programa probabilístico es un documento "sobre una red de red bayesiana que hace una clasificación de una sola vez que superó a las redes neuronales" (de acuerdo con trashacount12345 - hasta ahora no lo había verificado).
• Yann LeCun escribió una publicación de Google+ en la que argumenta que las redes neuronales y los modelos gráficos probabilísticos no son conceptos ortogonales.

Las redes bayesianas son preferidas para la interpretación del genoma. Ver, por ejemplo, esta disertación sobre métodos computacionales para la interpretación del genoma.

Hice un pequeño ejemplo para esto una vez. A partir de eso, creo que se prefieren las redes bayesianas si desea capturar una distribución, pero su conjunto de entrenamiento de entrada no cubre bien la distribución. En tales casos, incluso una red neuronal que se generalizara bien no podría reconstruir la distribución.

No estoy totalmente de acuerdo en que las redes neuronales funcionen bien, entonces otros estudiantes. De hecho, las redes neuronales funcionan bastante mal en comparación con otros métodos. Tampoco existe una metodología a pesar de algunos consejos sobre la elección de parámetros que este hecho se hace muy a menudo por casualidad. También hay algunos tipos que hablan al azar en los foros sobre cómo las redes neuronales son tan buenas, no porque tengan alguna evidencia al respecto, sino porque les atrae la palabra elegante y de moda, neural ''. También son muy inestables, ¿probaste una red neuronal para compararla con xgboost? No intentaré ninguna red neuronal hasta que sea autoconsciente. Así que hasta entonces feliz red neuronal :)