Diferencia entre la red de Bayes, la red neuronal, el árbol de decisión y las redes de Petri

¿Cuál es la diferencia entre la red neuronal , la red bayesiana , el árbol de decisión y las redes de Petri , a pesar de que todos son modelos gráficos y representan visualmente la relación causa-efecto?

¡Vaya, qué gran pregunta! La versión corta de la respuesta es que el hecho de que pueda representar dos modelos usando representaciones visuales esquemáticamente similares, no significa que estén remotamente relacionados estructural, funcional o filosóficamente. No estoy familiarizado con FCM o NF, pero puedo hablar un poco con los demás.

Red Bayesiana

En una red bayesiana, el gráfico representa las dependencias condicionales de diferentes variables en el modelo. Cada nodo representa una variable, y cada borde dirigido representa una relación condicional. Esencialmente, el modelo gráfico es una visualización de la regla de la cadena.

Red neuronal

En una red neuronal, cada nodo es una "neurona" simulada. La neurona está esencialmente activada o desactivada, y su activación está determinada por una combinación lineal de los valores de cada salida en la "capa" precedente de la red.

Árbol de decisión

Digamos que estamos usando un árbol de decisión para la clasificación. El árbol esencialmente nos proporciona un diagrama de flujo que describe cómo debemos clasificar una observación. Comenzamos en la raíz del árbol, y la hoja donde terminamos determina la clasificación que predecimos.

Como puede ver, estos tres modelos realmente no tienen nada que ver entre sí, además de ser representables con cuadros y flechas.

Es fácil mostrar (ver el curso de Daphne Koller ) que la Regresión logística es una versión restringida de los campos aleatorios condicionales, que son modelos gráficos no dirigidos, mientras que las redes bayesianas son modelos gráficos dirigidos. Entonces, la regresión logística también podría verse como un perceptrón de una sola capa. Este es el único enlace (que es muy flojo) que creo que podría trazarse entre las redes bayesianas y las redes neuronales.

Todavía tengo que encontrar un vínculo entre los otros conceptos sobre los que ha preguntado.

Excelente respuesta de @David Marx. Me he estado preguntando cuál es la diferencia entre el árbol de clasificación / regresión y la red bayesiana. Uno se basa en la entropía para clasificar un resultado en clases basadas en diferentes predictores y el otro construye una red gráfica usando independencia condicional y estimaciones de parámetros probabilísticos.

Siento que la metodología para construir la red bayesiana es diferente en comparación con el árbol de Regresión / Decisión. El algoritmo para el aprendizaje estructural, los objetivos para usar los modelos y la capacidad inferencial de los modelos son diferentes.

El enfoque basado en puntajes y restringido puede entenderse con algunos paralelos trazados con los criterios de ganancia de información en las familias del árbol de decisión.

Primero intentamos establecer la naturaleza del problema que intentamos resolver con estos métodos. Si un problema es sencillo, Polinómico o NP Completo, tenemos listos para conectar algoritmos que podrían proporcionar una respuesta determinista, por simple recombinación de los axiomas a lo largo de reglas lógicas. Sin embargo, si ese no es el caso, tendríamos que confiar en un método de razonamiento, en el que intentamos tratar el problema como heterogéneo y conectarlo a una red, los nodos son evaluaciones y los bordes son vías entre los componentes. .

En cualquier tipo de razonamiento basado en la red, no razonamos deductivamente, utilizando generalizaciones y combinaciones abstractas, de acuerdo con las reglas lógicas en un flujo lineal, sino que trabajamos a través del problema basado en la propagación del razonamiento en diferentes direcciones, de modo que resolvemos El problema de un nodo a la vez, abierto a mejoras en el descubrimiento de nuevos hechos relacionados con cualquier nodo en el futuro. Ahora veamos cómo cada una de estas técnicas aborda este método de resolución de problemas a su manera.

Red neuronal: la red neuronal es una caja negra, donde se cree (nunca se pudo verificar desde fuera del sistema) que las conexiones entre los nodos simples se forman y se enfatizan mediante repetidos refuerzos externos. Aborda el problema en un paradigma Connectionsitic . Es probable que el problema esté resuelto, pero hay poco en términos de explicabilidad. La red neuronal ahora se usa ampliamente debido a su capacidad para producir resultados rápidos, si se pasa por alto el problema de la explicabilidad.

Red Bayesiana: La Red Bayesiana es un gráfico acíclico dirigido, que se parece más al diagrama de flujo, solo que el diagrama de flujo puede tener bucles cíclicos. La red bayesiana, a diferencia del diagrama de flujo, puede tener múltiples puntos de inicio. Básicamente rastrea la propagación de eventos a través de múltiples puntos ambiguos, donde el evento diverge probabilísticamente entre las rutas. Obviamente, en cualquier punto dado de la red, la probabilidad de que ese nodo sea visitado depende de la probabilidad conjunta de los nodos anteriores. La red bayesiana es diferente de la red neuronal en que es un razonamiento explícito, aunque sea probabilístico y, por lo tanto, podría tener múltiples estados estables basados ​​en cada paso que se revisa y modifica dentro de los valores legales, al igual que un algoritmo. Es una forma sólida de razonar probabilísticamente, pero implica la codificación de probabilidades,

Árboles de decisión: El árbol de decisión es nuevamente una red, que se parece más a un diagrama de flujo, que está más cerca de la red bayesiana que la red neuronal. Cada nodo tiene más inteligencia que la red neuronal y la ramificación se puede decidir mediante evaluaciones matemáticas o probabilísticas. Las decisiones son evaluaciones sencillas basadas en distribuciones de frecuencia de eventos probables, donde la decisión es probabilística. Sin embargo, en las redes bayesianas, la decisión se basa en la distribución de 'evidencia' que apunta a que ha ocurrido un evento, en lugar de la observación directa del evento en sí.

Un ejemplo Por ejemplo, si tuviéramos que predecir el movimiento de un tigre devorador de hombres a través de algunas aldeas del Himalaya que se encuentra en el borde de una reserva de tigres, podríamos modelarlo en cualquier enfoque de la siguiente manera:

En un árbol de decisión, nos basaríamos en estimaciones de expertos para determinar si un tigre podría elegir entre campos abiertos o ríos en este último. En una red bayesiana, rastreamos al tigre por marcas de pug, pero razonamos de una manera que reconoce que estas marcas de pug podrían haber sido las de algún otro tigre de tamaño similar que patrulla habitualmente su territorio. Si vamos a usar una red neuronal, tendríamos que entrenar el modelo repetidamente usando varias peculiaridades de comportamiento del tigre en general, como su preferencia por nadar, preferencia de áreas cubiertas sobre áreas abiertas, evitar las habituaciones humanas para permitir que la red razone en general sobre el curso que podría tomar el tigre.

Con respecto a los modelos gráficos, Petri Net formaliza un comportamiento del sistema; en que difiere notablemente del resto de los modelos mencionados, todos los cuales se relacionan con la forma en que se forma un juicio.

Vale la pena señalar que la mayoría de los nombres citados designan conceptos de IA bastante extensos, que a menudo se fusionan: por ejemplo, puede usar una red neuronal para construir un árbol de decisión, mientras que la propia red neuronal, como se discutió anteriormente, puede depender de Bayesian inferencia.

Es una buena pregunta y me he estado preguntando lo mismo. Hay más de dos tipos de redes neuronales, y parece que la respuesta anterior se refería al tipo competitivo, mientras que la red bayesiana parece tener similitudes con el tipo de retroalimentación de retroalimentación (FFBP) y no con el tipo competitivo. De hecho, diría que la red bayesiana es una generalización del FFBP. Entonces, el FFBP es un tipo de red bayesiana y funciona de manera similar.